Данная работа представляет собой исследование нейросетевого подхода к улучшению изображений (повышению экспозиции и
устранению шума), предложенного в работе (Chen et al., 2018). Анализируется применимость нейросети, обученной на
датасете с одной фотокамеры, к данным с другой камеры. Исследуется возможность снижения размера датасета для обучения
нейросети для новой камеры. Был собран датасет из 27 пар фотографий в сыром формате, сделанных с экспозициями в 0.01 и 1
с и соответствующих друг другу попиксельно. Путем тестирования на наборах фотографий с разных камер, использующих
одинаковый тип мозаики цветовых фильтров, сравниваются две модели, обученные на наборах, размеры которых отличаются в 8
раз. Из зависимости метрик качества PSNR и SSIM от размера обучающего набора выяснено, что для размера в 25–30 сцен
метрики превосходят 90% от значений, заявленных авторами вышеупомянутой статьи для модели, обученной на 160 сценах.
Также эти метрики сравниваются для модели, обученной на фотографиях с одной камеры, и модели, обученной на фотографиях с
новой камеры, после их тестирования на наборе из фотографий со второй камеры. Демонстрируется такая переносимость
результата, что качество деталей на изображениях для модели, обученной на относительно большом датасете из фотографий с
другой камеры, заметно лучше.
Ключевые слова:
обработка изображений, нейросетевое шумоподавление, вычислительная фотография
DOI: 10.31857/S0235009221010078
Цитирование для раздела "Список литературы":
Попов Н. И., Григорьев А. С.
Аппаратная независимость и точность нейросетевого шумоподавления на изображениях как функция объема обучающих данных.
Сенсорные системы.
2021.
Т. 35.
№ 1.
С. 79–83. doi: 10.31857/S0235009221010078
Цитирование для раздела "References":
Popov N. I., Grigoryev A. S.
Apparatnaya nezavisimost i tochnost neirosetevogo shumopodavleniya na izobrazheniyakh kak funktsiya obema obuchayushchikh dannykh
[Hardware independence and accuracy of neural network denoising of images depending on training set size].
Sensornye sistemy [Sensory systems].
2021.
V. 35(1).
P. 79–83
(in Russian). doi: 10.31857/S0235009221010078
Список литературы:
- Aharon M., Elad M., Bruckstein A. KSVD: An algorithm for designing overcomplete dictionaries for sparse representation. Trans. Sig. Proc. 2006. V. 54 (11). P. 4311–4322.
- Anaya J., Barbu A. Renoir - a dataset for real low-light noise image reduction. arXiv preprint arXiv:1409.8230. 2014. P. 6.
- Bernd J. Digital Image Processing. 6th revised and expanded edition. ISBN 3-540-24035-7 Springer, Berlin, Heidelberg. New York. 2005.
- Chen C., Chen Q., Xu J., Koltun V. Learning to see in the dark. CVPR. 2018. P. 3291–3300.
- Dabov K., Foi A., Katkovnik V., Egiazarian K. Image denoising by sparse 3-d transformdomain collaborative filtering. TIP. 2007. V. 16 (8). P. 2080–2095.
- Foi A., Trimeche M., Katkovnik V., Egiazarian K. Practical Poissonian-Gaussian Noise Modeling and Fitting for Single-Image Raw-Data. TIP. 2008. V. 17 (10). P. 1737–1754.
- Gharbi M., Chaurasia G., Paris S., Durand F. Deep joint demosaicking and denoising. SIGGRAPH. 2016. V. 35 (6). P. 1–12.
- Guo S., Yan Z., Zhang K., Zuo W., Zhang L. Toward convolutional blind denoising of real photographs. CVPR. 2019. P. 1712–1722.
- Hasinoff S.W., Sharlet D., Geiss R., Adams A., Barron J.T., Kainz F., Chen J., Levoy M. Burst photography for high dynamic range and low-light imaging on mobile cameras. SIGGRAPH Asia. 2016. V. 35 (6). P. 1–12.
- Kim D., Chung J.R., Jung S. Grdn: Grouped residual dense network for real image denoising and gan-based realworld noise modeling. CVPR. 2019.
- Lehtinen J., Munkberg J., Hasselgren J., Laine S., Karras T., Aittala M., Aila T. Noise2Noise: Learning image restoration without clean data. arXiv preprint arXiv:1803.04189. 2018.
- Liu Z., Yuan L., Tang X., Uyttendaele M., Sun J. Fast burst images denoising. ACM Transactions on Graphics. 2014. V. 33 (6). P. 1–9.
- Nam S., Hwang Y., Matsushita Y., Kim S.J. A holistic approach to cross-channel image noise modeling and its application to image denoising. CVPR. 2016. P. 1683–1691.
- Perona P., Malik J. Scale-space and edge detection using anisotropic diffusion. TPAMI. 1990. V. 12 (7). P. 629–639.
- Plotz T., Roth S. Benchmarking denoising algorithms with real photographs. CVPR. 2017. P. 1586–1595.
- Ren W., Liu S., Ma L., Xu Q., Xu X., Cao X., Du J., Yang M.H. Low-Light Image Enhancement via a Deep Hybrid Network. TIP. 2019. V. 28 (9). P. 4364–4375.
- Schwartz E., Giryes R., Bronstein A.M. DeepISP: Toward Learning an End-to-End Image Processing Pipeline. TIP. 2019. V. 28 (2). P. 912–923.
- Simoncelli E.P., Adelson E.H. Noise removal via bayesian wavelet coring. ICIP. 1996. V. 1. P. 379–382.
- Wang R., Zhang Q., Fu C., Shen X., Zheng W., Jia J. Underexposed Photo Enhancement Using Deep Illumination Estimation. CVPR. 2019. P. 6849–6857.
- Zhang Y., Zhang J., Guo X. Kindling the Darkness: A Practical Low-light Image Enhancer. CVPR. 2019. P. 1632–1640.
- Zhang K., Zuo W., Chen Y., Meng D., Zhang L. Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising. TIP. 2017. V. 26 (7). P. 3142–3155.