Сопоставление оптических и радиолокационных изображений является актуальной и важной задачей компьютерного зрения.
Однако в связи с различиями в принципах формирования таких изображений методы описания особых точек общего назначения
(SIFT, SURF и многое другое) оказываются неработоспособными. В данной работе предлагается новый метод описания особых
точек, ориентированный на сопоставление оптических и радиолокационных снимков. Для построения дескрипторов используется
нейронная сеть сиамской архитектуры. Экспериментальная проверка показала эффективность предложенного подхода.
Ключевые слова:
сопоставление изображений, особые точки, сиамская нейросеть, обучение дескрипторов
DOI: 10.1134/S0235009218030034
Цитирование для раздела "Список литературы":
Абулханов Д. А., Сидорчук Д. С., Коноваленко И. А.
Обучение нейросетевых дескрипторов особых точек для сопоставления радиолокационных и оптических изображений.
Сенсорные системы.
2018.
Т. 32.
№ 3.
С. 222-229. doi: 10.1134/S0235009218030034
Цитирование для раздела "References":
Abulkhanov D. A., Sidorchuk D. S., Konovalenko I. A.
Obuchenie neirosetevykh deskriptorov osobykh tochek dlya sopostavleniya radiolokatsionnykh i opticheskikh izobrazhenii
[Neural network-based feature point descriptors for registration of optical and sar images].
Sensornye sistemy [Sensory systems].
2018.
V. 32(3).
P. 222-229
(in Russian). doi: 10.1134/S0235009218030034
Список литературы:
- Balntas V., Johns E., Tang L., Mikolajczyk K. PN-net: conjoined triple deep network for learning local image descriptors. arXiv preprint arXiv:1601.05030. 2016.
- Bay H., Tuytelaars T., Van Gool L. SURF: Speeded up robust features. European conference on computer vision. 2006. P. 404–417. doi 10.1007/11744023_32.10.1007/11744023_32
- Bromley J., Guyon I., LeCun Y., Säckinger E., Shah R. Signature verification using a “siamese” time delay neural network. Advances in Neural Information Processing Systems. 1994. P. 737–744.
- Brown M., Hua G., Winder S. Discriminative learning of local image descriptor. IEEE transactions on pattern analysis and machine intelligence. 2011. V. 33(1). P. 43–57. doi 10.1109/TRAMI.2010.54
- Calonder M., Lepetit V., Strecha C., Fua P. Brief: Binary robust independent elementary features. European conference on computer vision. 2010. P. 778–792. doi 10.1007/978-3-642-15561-1_56.10.1007/978-3-642-15561-1_56
- Dare P., Dowman I. An improved model for automatic feature-based registration of SAR and SPOT images. ISPRS Journal of Photogrammetry and Remote Sensing. 2001. V. 56(1). P. 13–28. doi 10.1016/S0924-2716(01)00031-4
- Errico A., Angelino C., Cicala L., Persechino G., Ferrara C., Lega M., Vallario A., Parente C., Masi G., Gaetano R., Scarpa G., Amitrano D., Ruello G., Verdoliva L., Poggi G. Detection of environmental hazards through the feature-based fusion of optical and SAR data: a case study in southern Italy. Int. J. Remote Sens. 2015. V. 36 (13). P. 3345–3367. doi 10.1080/01431161.2015.1054960
- Fan B., Huo C., Pan C., Kong Q. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT. IEEE Geoscience and Remote Sensing Letters. 2013. V. 10(4). P. 657–661. doi 10.1109/LGRS.2012.2216500
- Fedorenko F., Ivanova A., Limonova E., Konovalenko I. Trainable siamese keypoint descriptors for real-time applications. Proc. SPIE, 2016 Internat. Conf. on Robotics and Machine Vision. 2017. P. 1025306-1025306. doi 10.1117/12.2266351
- Hadsell R., Chopra S., LeCun Y. Dimensionality reduction by learning an invariant mapping. IEEE Computer vision and pattern recognition. 2006. V. 2. P. 1735–1742. doi 10.1109/CVPR.2006.100
- Hänsch R., Hellwich O., Tu X. Machine-learning based detection of corresponding interest points in optical and SAR images. Geoscience and Remote Sensing Symposium (IGARSS). 2016. P. 1492–1495. doi 10.1109/IGARSS.2016.7729381.10.1109/IGARSS.2016.7729381
- Han X., Leung T., Jia Y., Sukthankar R., Berg A. Matchnet: Unifying feature and metric learning for patch-based matching. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. P. 3279–3286.
- Inglada J., Adragna F. Automatic multi-sensor image registration by edge matching using genetic algorithms. Geoscience and Remote Sensing Symposium (IGARSS’01). 2001. V. 5. P. 2313–2315. doi 10.1109/IGARSS.2001. 977986.10.1109/IGARSS.2001.977986
- Kim S., Min D., Ham B., Jeon S., Lin S., Sohn K. Fcss: Fully convolutional self-similarity for dense semantic correspondence. arXiv preprint arXiv:1702.00926. 2017.
- Kingma D., Ba J. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980. 2014.
- Lepetit V., Fua P. Towards recognizing feature points using classification trees. EPFL-REPORT-52666. 2004.
- Lowe D.G. Object recognition from local scale-invariant features. Computer vision. 1999. V. 2. P. 1150-1157. doi 10.1109/ICCV.1999.790410
- Persechino G., Lega M., Romano G., Gargiulo F., Cicala L. IDES project: an advanced tool to investigate illegal dumping. WIT Transactions on Ecology and the Environment. 2013. V. 173. P. 603-614. doi 10.2495/SDP130501
- Rublee E., Rabaud V., Konolige K., Bradski G. Orb: An efficient alternative to SIFT or SURF. Computer Vision (ICCV). 2011. P. 2564–2571. doi 10.1109/ICCV. 2011.6126544
- Simo-Serra E., Trulls E., Ferraz L., Kokkinos I., Fua P., Moreno-Noguer F. Discriminative learning of deep convolutional feature point descriptors. Proceedings of the IEEE International Conference on Computer Vision. 2015. P.118–126.
- Sui H., Xu C., Liu J., Hua F. Automatic optical-to-SAR image registration by iterative line extraction and Voronoi integrated spectral point matching. IEEE Transactions on Geoscience and Remote Sensing. 2015. V. 53(11) P. 6058–6072. doi 10.1109/TGRS.2015.2431498
- Trzcinski T., Christoudias M., Fua P., Lepetit V. Boosting binary keypoint descriptors. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2013. P. 2874–2881.