Том 35 №2

Содержание

1. НЕЙРОФИЗИОЛОГИЧЕСКОЕ ОБЕСПЕЧЕНИЕ МОТОРНОГО КОНТРОЛЯ В “ГИБРИДНЫХ” ПОЗАХ. ОБЗОР ЛИТЕРАТУРЫ
2. ФУНКЦИОНАЛЬНОЕ ИССЛЕДОВАНИЕ ПЕРВИЧНОЙ СЛУХОВОЙ КОРЫ КОШКИ
3. АНАЛИЗ ИНДИВИДУАЛЬНЫХ СТРАТЕГИЙ КАТЕГОРИАЛЬНОГО ЗРИТЕЛЬНОГО ПОИСКА
4. ВЛИЯНИЕ СЛУХОВОЙ LTP-ПОДОБНОЙ СТИМУЛЯЦИИ НА ОБРАБОТКУ ЗВУКОВЫХ СТИМУЛОВ
5. ПРИМЕНЕНИЕ КАРТЫ ГРАДИЕНТОВ ДЛЯ ДЕТЕКЦИИ ДОЖДЕВЫХ КАПЕЛЬ НА ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ
6. АЛГОРИТМ ЛОКАЛЬНОГО ПЛАНИРОВАНИЯ ПУТИ АВТОНОМНОГО ТРАНСПОРТНОГО СРЕДСТВА НА ОСНОВЕ МНОГОКРИТЕРИАЛЬНОЙ ОПТИМИЗАЦИИ ТРАЕКТОРИИ В ПРОСТРАНСТВЕННОЙ РЕШЕТКЕ СОСТОЯНИЙ

Автономные транспортные средства используют камеры в качестве одного из основных источников информации об окружающей среде. Погодные условия и другие внешние факторы эксплуатации могут способствовать появлению различных артефактов на изображениях: дождевых капель, снега, грязи и прочих. Наличие таких артефактов существенно ухудшает качество и достоверность получаемых визуальных данных и может привести к авариям в случае несвоевременного обнаружения. Алгоритмы детекции артефактов должны соответствовать высоким требованиям: иметь возможность работать в режиме реального времени, а также с ограниченными вычислительными и энергетическими ресурсами. В данной работе мы предлагаем новый алгоритм детекции дождевых капель на объективе камеры, основанный на усреднении карты градиентов последовательности изображений. Для тестирования алгоритма был собран набор последовательностей кадров, снятых камерой, закрепленной на автомобиле во время его движения. Собирались последовательности трех типов: с настоящими дождевыми каплями, без капель и с каплями, сгенерированными искусственно. Задача детекции дождевых капель рассматривалась как задача бинарной классификации последовательности изображений, что позволило использовать AUC-ROC (area under receiver operating characteristic curve) в качестве метрики качества. Результаты тестирования алгоритма показали, что он надежно обнаруживает капли как искусственные, так и настоящие. Более того, предложенный алгоритм, в сравнении с уже существующим алгоритмом на основе попиксельной кросс-корреляции (Einecke et al., 2014), показал более высокое качество классификации последовательностей и скорость обработки изображений. Таким образом, алгоритм на основе карты градиентов способен обеспечить высокое качество детекции капель на изображениях, а его вычислительная эффективность позволяет применять его в качестве процедуры самопроверки в автономных зрительных системах.

Ключевые слова: карта градиентов, детекция дождевых капель, детекция артефактов, автономное транспортное средство, последовательность изображений, процедура самопроверки, автономные зрительные системы, артефакты на изображениях

DOI: 10.31857/S0235009221020049

Список литературы:

• Кунина И.А., Панфилова Е. И., Поволоцкий М.А. Детектирование пешеходных переходов на изображениях дороги на основе метода динамического выравнивания временных рядов. Труды ИСА РАН. 2018. Т. 68. № S1. С. 23–31. https://doi.org/10.14357/20790279180503
• Курников П.А., Шоломов Д.Л., Панченко А.В. Система определения туманных дорожных сцен, основанная на ансамбле классификаторов. Информационные технологии и вычислительные системы (ИТиВС). 2018. № 2. С. 70–77. https://doi.org/10.14357/20718632180206
• Минаев Е. Ю., Никоноров А.В. Детектирование и распознавание объектов в системах автомобильной безопасности на основе фрактального анализа. Компьютерная оптика. 2012. Т. 36. № 1. С. 124–130.
• Царук В.Б. Выделение искажений, вносимых атмосферными осадками на видеоизображения. Актуальные проблемы авиации и космонавтики. 2018. Т. 2. № 4 (14). С. 176–178.
• Akkala V., Parikh P., Mahesh B.S., Deshmukh A.S., Medasani S. Lens adhering contaminant detection using spatio-temporal blur. Intern. Conf. Signal Proc. Commun (SPCOM). 2016. P. 1–5. https://doi.org/10.1109/SPCOM.2016.7746664
• Bae I., Bang S., Kim W. Convolutional neural network for raindrop detection. 16th Intern. Conf. Ubiquitous Robots (UR). 2019. P. 102–105. https://doi.org/10.1109/URAI.2019.8768613.
• Cord A., Aubert D. Towards rain detection through use of in-vehicle multipurpose cameras. IEEE Intelligent Vehicles Sympos. (IV). 2011. P. 833–838. https://doi.org/10.1109/IVS.2011.5940484
• Einecke N., Gandhi H., Deigmöller J. Detection of camera artifacts from camera images. 17th Intern. IEEE Conf. Intelligent Transportation Systems (ITSC). 2014. P. 603–610. https://doi.org/10.1109/ITSC.2014.6957756.
• Gladkov A., Gladilin S., Ershov E. Comparison of stereo matching algorithms for obstacle detection and collision avoidance. Eleventh Intern. Conf. Machine Vision (ICMV). 2019. P. 92. https://doi.org/10.1117/12.2523116
• Gu J., Belhumeur P., Nayar S., Ramamoorthi R. Removing image artifacts due to dirty camera lenses and thin occluders. ACM Transactions on Graphics. 2009. V. 28. P. 1–10. https://doi.org/10.1145/1618452.1618490
• Hirohashi Y., Narioka K., Suganuma M., Liu X., Tamatsu Y. and Okatani T. Removal of image obstacles for vehicle-mounted surrounding monitoring cameras by real-time video inpainting. IEEE/CVF Conf. Computer Visi. Pattern Recogn. Workshops (CVPRW). 2020. P. 857–866. https://doi.org/10.1109/CVPRW50498.2020.00115
• Hu L., Chen L., Cheng J. Gray spot detection in surveillance video using convolutional neural network. 13th IEEE Conf. Industrial Electron. Applicat. (ICIEA). 2018. P. 2806–2810. https://doi.org/10.1109/ICIEA.2018.8398187
• Ivanov A., Yudin D. Visibility loss detection for video camera using deep convolutional neural networks. Proc. Third Intern. Sci. Conf. “Intelligent Information Technologies for Industry” (IITI’18). 2019. V. 1. P. 434–443. https://doi.org/10.1007/978-3-030-01818-4_43
• Korobov N., Shipitko O., Konovalenko I., Grigoryev A., Chukalina M. SWaP-C Based Comparison of Onboard Computers for Unmanned Vehicles. Proc. 14th Intern. Conf. Electromechanics and Robotics “Zavalishin’s Readings”. Springer, Singapore. 2020. P. 573–583.
• McDonnell M.J. Box-filtering techniques. Computer Graphics and Image Processing. 1981. V. 17. P. 65–70. https://doi.org/10.1016/S0146-664X(81)80009-3
• Nashashibi F., Charette R., Lia A. Detection of unfocused raindrops on a windscreen using low level image processing. Intern. Conf. Control, Automat. Robot. Vision: 2010. P. 1410–1415. https://doi.org/10.1109/ICARCV.2010.5707398
• Qian R., Tan T., Yang W. Attentive generative adversarial network for raindrop removal from a single image. IEEE/CVF Conf. Comp. Vis. Pattern Recogn. 2018. P. 2482–2491. https://doi.org/10.1109/CVPR.2018.00263
• Roser M., Geiger A. Video-based raindrop detection for improved image registration. IEEE 12th Intern. Conf. Computer Vision Workshops. 2009. P. 570–577. https://doi.org/10.1109/ICCVW.2009.5457650
• Sobel I., Feldman G. A 3 × 3 isotropic gradient operator for image processing. Pattern Classification and Scene Analysis. 1973. P. 271–272.
• You S., Tan R.T., Kawakami R. Adherent raindrop modeling, detection and removal. IEEE Transact. Pattern Analys. Machine Intellig. 2016. V. 38. № 9. P. 1721–1733. https://doi.org/10.1109/TPAMI.2015.2491937