В работе рассматривается решение задачи стереосопоставления классическим методом построчной динамической трансформации
временной шкалы (DTW, Dynamic Time Warping). Метод DTW опирается на вычисление метрики схожести для малых (порядка
пикселя) фрагментов изображений. Исследуется качество работы метода в зависимости от выбранной метрики: сравниваются
типичная для DTW -норма вектора поточечных разностей между окрестностями и метрики, построенные при помощи искусственных
нейросетей с малым (порядка 1000) количеством коэффициентов и с вектором выходов размерности 64. Метрика схожести
фрагментов изображения в этом случае есть -норма разности выходов нейросети. Полученная модификация DTW показала лучшие
результаты по сравнению со своей немодифицированной версией, использующей расстояние между фрагментами изображений.
Нейросети обучены на изображениях из открытых датасетов Middlebury Stereo Datasets и KITTI.
Ключевые слова:
машинное зрение, стереозрение, стереосопоставление, динамическая трансформация временной шкалы, машинное обучение,
сиамские нейронные сети
DOI: 10.1134/S0235009218030101
Цитирование для раздела "Список литературы":
Охлопков Д. О., Гладилин С. А., Федоренко Ф. А.
Построение метрического признакового пространства при помощи сиамских нейронных сетей для вычисления карты диспаратности.
Сенсорные системы.
2018.
Т. 32.
№ 3.
С. 253-259. doi: 10.1134/S0235009218030101
Цитирование для раздела "References":
Okhlopkov D. O., Gladilin S. A., Fedorenko F. A.
Postroenie metricheskogo priznakovogo prostranstva pri pomoshchi siamskikh neironnykh setei dlya vychisleniya karty disparatnosti
[Learning a metric feature space with siamese networks for disparity map computation].
Sensornye sistemy [Sensory systems].
2018.
V. 32(3).
P. 253-259
(in Russian). doi: 10.1134/S0235009218030101
Список литературы:
- Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. М. Вильямс, 2004. 928 с.
- Birchfield S., Tomasi C. A pixel dissimilarity measure that is insensitive to image sampling. TPAMI. 1998. P. 401–406.
- Chopra S., Hadsell R., LeCun Y. Learning a similarity metric discriminatively, with application to face verification. CVPR 2005. V. 1. P. 539–546.
- Einecke N., Eggert J. A two-stage correlation method for stereoscopic depth estimation. International Conference on Digital Image Computing: Techniques and Applications. 2010. P. 227–234.
- Fedorenko F.A., Ivanova A.A., Limonova E.E., Konovalenko I.A., Trainable Siamese keypoint descriptors for real-time applications. 2016 International Conference on Robotics and Machine Vision. 2017. P. 1025306–1025306.
- Geiger A., Lenz P., Urtasun R. Are we ready for autonomous driving? The KITTI vision benchmark suite. CVPR, 2012. P. 3354–3361.
- Hirschmuller H., Scharstein D. Evaluation of stereo matching costs on images with radiometric differences. TPAMI. 2009. P. 1582–1599.
- Itakura F. Minimum prediction residual principle applied to speech recognition. IEEE Transactions on Acoustics, Speech, and Signal Processing. 1975. V. 23. № 1. P. 67–72.
- Ma Z., He K., Wei Y., Sun J., Wu E. Constant time weighted median filtering for stereo matching and beyond. Proceedings of the IEEE International Conference on Computer Vision. 2013. P. 49–56.
- Min D., Lu J., Do M. A revisit to cost aggregation in stereo matching: How far can we reduce its computational redundancy? ICCV. 2011. P. 1567–1574.
- Muehlmann K., Maier D., Hesser J., Maenner R. Calculating dense disparity maps from color stereo images, an efficient implementation. IJCV. 2002. P. 79–88.
- Rhemann C., Hosni A., Bleyer M., Rother C., Gelautz M. Fast cost-volume filtering for visual correspondence and beyond. Transactions on Pattern Analysis and Machine Intelligence. 2013. V. 35. № 2.
- Scharstein D., Szeliski R. Middlebury stereo vision page URL: http://www.middlebury.edu/stereo. (last access date 15.08.2017).
- Scharstein D., Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. IJCV. 2002 P. 7–42.
- Sun D., Roth S., Black M.J. Secrets of optical flow estimation and their principles. CVPR. 2010. P. 2432–2439.
- Takaya K. Dense Stereo Disparity Maps – Real-time Video Implementation by the Sparse Feature Sampling. MVA. 2011. P. 164–167.
- Yoon K., Kweon I. Adaptive support-weight approach for correspondence search. TPAMI. 2006. P. 650–656.
- Zagoruyko S., Komodakis N. Learning to compare image patches via convolutional neural networks. CVPR. 2015. P. 4353–4361.
- Zbontar J., LeCun Y. Stereo matching by training a convolutional neural network to compare image patches. Journal of Machine Learning Research. 2016. V. 17. №1–32. P. 2.
- Zhang K., Lu J., Lafruit G. Cross-based local stereo matching using orthogonal integral images. TCSVT. 2009. P. 1073–1079.
