Сегментация перекрывающихся изображений деревьев на цифровых снимках лесных массивов. C. 126-140

УДК

004.896; 630*96

DOI:

10.37482/0536-1036-2024-1-126-140

Аннотация

Применение систем поддержки принятия решений на основе компьютерного зрения и искусственного интеллекта значительно улучшает условия работы операторов технологических машин лесного комплекса, профессиональная деятельность которых связана с высокой интенсивностью и психоэмоциональными перегрузками. При помощи компьютерного зрения и искусственного интеллекта оператор легко и быстро может получить информацию о состоянии лесосеки и выбрать оптимальные решения для проведения рабочих операций. Это облегчает его труд и позволяет сократить время на поиск и анализ данных о лесосеке. При этом одним из ключевых элементов подобных систем является подсистема автоматической сегментации объектов на изображении. Исследована возможность сегментации перекрывающихся объектов на изображениях лесных массивов с помощью сверточной нейронной сети на базе архитектуры Mask R-CNN. В отличие от большинства работ по схожим темам, используются цветные изображения, полученные с помощью RGB-камеры, а не лидара. Это создает перспективу снижения стоимости аппаратно-программных комплексов поддержки принятия решений операторами лесосечных машин. В качестве сегментируемых объектов выступают изображения ствола и кроны деревьев хвойных и лиственных пород, перекрывающих друг друга. С помощью графического редактора GIMP выполнена ручная разметка цветных изображений, содержащих в общей сложности 134 дерева 4 различных пород: ель, осина, береза и сосна. С использованием разработанной базы данных поставлен эксперимент по дообучению сверточной нейронной сети Mask R-CNN сегментации перекрывающихся частей деревьев на цифровых снимках лесных массивов. При этом нейронная сеть была предварительно обучена с применением набора данных Microsoft COCO dataset, содержащего более 200 000 изображений 80 различных классов объектов, таких как люди, автомобили, животные и различные предметы. В процессе обучения нейронной сети изображения, подаваемые на ее вход, подвергались серии линейных и нелинейных геометрических преобразований, что позволило увеличить объем обучаемых данных в 11 раз. В итоге точность сегментации изображений стволов и крон хвойных и лиственных пород деревьев, перекрывающих друг друга, составила 79 %, что допускает использование нейронных сетей подобной архитектуры в системах поддержки принятия решений для операторов лесосечных машин.

Сведения об авторах

И.В. Петухов*, д-р техн. наук, проф.; ResearcherID: A-9472-2014,
ORCID: https://orcid.org/0009-0000-2365-4857
К.О. Иванов, канд. техн. наук; ResearcherID: A-6724-2014,
ORCID: https://orcid.org/0000-0002-6395-4085
Д.М. Ворожцов, канд. техн. наук; ResearcherID: JAN-6772-2023,
ORCID: https://orcid.org/0009-0005-8396-2778
A.А. Роженцов, д-р техн. наук, проф.; ResearcherID: AAU-8039-2020,
ORCID: https://orcid.org/0000-0003-0043-0070
Н.И. Роженцова, канд. техн. наук; ResearcherID: JMD-0172-2023,
ORCID: https://orcid.org/0009-0006-4024-7886
Л.А. Стешина, канд. техн. наук, доц.; ResearcherID: JMC-9977-2023,
ORCID: https://orcid.org/0009-0006-1526-991X

Поволжский государственный технологический университет, пл. Ленина, д. 3, г. Йошкар-Ола, Россия, 424000; PetuhovIV@volgatech.net*, IvanovKO@volgatech.net, VorozhtsovDM@volgatech.net, RozhencovAA@volgatech.net, RozhencovaNI@volgatech.net, SteshinaLA@volgatech.net

Ключевые слова

глубокое обучение, искусственный интеллект, сверточная нейронная сеть, сегментация перекрывающихся объектов, система поддержки принятия решений для операторов лесосечных машин

Для цитирования

Петухов И.В., Иванов К.О., Ворожцов Д.М., Роженцов А.А., Роженцова Н.И., Стешина Л.А. Сегментация перекрывающихся изображений деревьев на цифровых снимках лесных массивов // Изв. вузов. Лесн. журн. 2024. № 1. С. 126–140. https://doi.org/10.37482/0536-1036-2024-1-126-140

Литература

1. Иванов К.О. Классификация фрагментов электроэнцефалограммы по степени патологической значимости с помощью последовательных нейронных сетей // Вестн. ПГТУ. Сер.: Радиотехн. и инфокоммуникац. системы. 2022. № 4(56). С. 24–37. https://doi.org/10.25686/2306-2819.2022.4.24
2. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. СПб.: Питер, 2022. 480 c.
3. Портнов А.М., Иванова Н.В., Шашков М.П. Опыт использования нейронной сети DeepForest для детектирования деревьев в широколиственном лесу // Математическая биология и биоинформатика: докл. Междунар. конф. / под ред. В.Д. Лахно. Т. 9. Пущино: ИМПБ РАН, 2022. Ст. № e45. https://doi.org/10.17537/icmbb22.12
4. Тимофеев В.С., Сивак М.А. Робастная нейронная сеть с простой архитектурой // Сиб. журн. индустр. математики. 2021. T. 24, № 4. С. 126–138. https://doi.org/10.33048/SIBJIM.2021.24.409
5. Callan R. The Essence of Neural Network. Upper Saddle River: Prentice Hall Europe, 1998. 232 p.
6. Chollet F. Deep Learning with Python: Second Edition. New York, Manning Publications Co., 2021. 504 p.
7. COCO: Common Objects in Context. Available at: https://cocodataset.org/#home (accessed 17.01.23).
8. Daubechies I., DeVore R., Foucart S., Hanin B., Petrova G. Nonlinear Approximation and (Deep) ReLU Networks. Constructive Approximation, 2022, vol. 55, pp. 127–172. https://doi.org/10.1007/s00365-021-09548-z
9. Diez Y., Kentsch S., Fukuda M., Caceres M.L.L., Moritake K., Cabezas M. Deep Learning in Forestry Using UAV-Acquired RGB Data: A Practical Review. Remote Sensing, 2021, vol. 13, no. 14, art. no. 2837. https://doi.org/10.3390/rs13142837
10. Girshick R. Fast R-CNN. 2015 IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1440–1448.
11. Goodfellow I., Benigo Y., Courville A. Deep Learning. Cambridge, MIT Press Publ., 2017. 785 p.
12. Grondin V., Fortin J.-M., Pomerleau F., Giguère P. Tree Detection and Diameter Estimation Based on Deep Learning. Forestry: An International Journal of Forest Research, 2023, vol. 96, iss. 2, pp. 264–276. https://doi.org/10.1093/forestry/cpac043
13. Haykin S. Neural Networks: A Comprehensive Foundation (3rd Edition). Hoboken: Prentice-Hall Inc., 2007. 938 p.
14. He K., Gkioxari G., Dollar P., Girshick R. Mask R-CNN. 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2980–2988.
15. Imgaug: a Library for Image Augmentation in Machine Learning Experiments. Available at: https://imgaug.readthedocs.io/en/latest/ (accessed 17.07.23).
16. Ivanov K.O., Kazarinov A.A., Rozhentsov A.A., Dubrovin V.N., Baev A.A., Evdokimov A.O. An Algorithm for Segmentation of Kidney Tissues on CT Images Based on a U-Net Convolutional Neural Network. Biomedical Engineering, 2023, vol. 56, pp. 424–428. https://doi.org/10.1007/s10527-023-10249-z
17. Mask R-CNN for Object Detection and Segmentation. Available at: https://github.com/matterport/Mask_RCNN (accessed 17.07.23).
18. Moussaid A., El Fkihi S., Zennayi Y. Tree Crowns Segmentation and Classification in Overlapping Orchards Based on Satellite Images and Unsupervised Learning Algorithms. Journal of Imaging, 2021, vol. 7, no. 241. https://doi.org/10.3390/jimaging7110241
19. Ochoa C.G., Caruso P., Ray G., Deboodt T., Jarvis T.W., Guldan S.J. Ecohydrologic Connections in Semiarid Watershed Systems of Central Oregon USA. Water, 2018, vol. 2, no. 10, art. no. 181. https://doi.org/10.3390/w10020181
20. Pointer I. Programming PyTorch for Deep Learning: Creating and Deploying Deep Learning Applications. O’Reilly Media Inc., 2019. 217 p.
21. Qassim H., Verma A., Feinzimer D. Compressed Residual-VGG16 CNN Model for Big Data Places Image Recognition. 2018 IEEE 8th Annual Computing and Communication Workshop and Conference (CCWC), 2018, pp. 169–175.
22. Qianwei L., Weifeng M., Jianpeng Z., Yicheng L., Dongfan X., Jinliang W. Point-Cloud Segmentation of Individual Trees in Complex Natural Forest Scenes Based on a Trunk Growth Method. Journal of Forestry Research, 2021, vol. 32, pp. 2403–2414. https://doi.org/10.1007/s11676-021-01303-1
23. Rao D., McMahan B. Natural Language Processing with PyTorch: Build Intelligent Language Applications Using Deep Learning. O’Reilly Media Inc., 2019. 254 p.
24. Ren S., Kaiming H., Ross G., Jian S. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. NIPS’15: Proceedings of the 28th International Conference on Neural Information Processing Systems. Great Britain, Oxford, December, 2015, vol. 1, pp. 91–99.
25. Rojas R. The Backpropagation Algorithm. Neural Networks, 1996, pp. 149–182. https://doi.org/10.1007/978-3-642-61068-4_7
26. Tarasova A., Strielkowski W., Larionova N. Digital Relations and Innovative Ecosystem for Sustainable Engineering Education: A Case of Russia. Increasing Supply Chain Performance in Digital Society. IGI Global, 2022, pp. 304–318.
27. Wang D., Liang X., Mofack II G., Martin-Ducup O. Individual Tree Extraction from Terrestrial Laser Scanning Data via Graph Pathing. Forest Ecosystems, 2021, vol. 8, no. 67. https://doi.org/10.1186/s40663-021-00340-w
28. Weinstein B.G., Graves S.J., Marconi S., Singh A., Zare A., Stewart D. A Benchmark Dataset for Canopy Crown Detection and Delineation in Co-Registered Airborne RGB, LiDAR and Hyperspectral Imagery from the National Ecological Observation Network. PLoS Computational Biology, 2021, vol. 7, no. 17. https://doi.org/10.1371/journal.pcbi.1009180
29. Windrim L., Bryson M. Detection, Segmentation, and Model Fitting of Individual Tree Stems from Airborne Laser Scanning of Forests Using Deep Learning. Remote Sensing, 2020, vol. 12, no. 9, art. no. 1469. https://doi.org/10.3390/rs12091469
30. Xu X., Iuricich F., Floriani L.D. A Topology-Based Approach to Individual Tree Segmentation from Airborne LiDAR Data. GeoInformatica, 2023, vol. 27, pp. 759–788. https://doi.org/10.1007/s10707-023-00487-4
31. Yang Z., Dong R., Xu H., Gu J. Instance Segmentation Method Based on Improved Mask R-CNN for the Stacked Electronic Components. Electronics, 2020, vol. 9, no. 6, art. no. 886. https://doi.org/10.3390/electronics9060886