پیوندهای مفید
آمار
| تعداد نشریات | 13 |
| تعداد شمارهها | 238 |
| تعداد مقالات | 2,418 |
| تعداد مشاهده مقاله | 3,962,363 |
| تعداد دریافت فایل اصل مقاله | 2,874,084 |
نقشهبرداری نوع محصول در مقیاس بزرگ با استفاده از تصاویر چندزمانی سنتینل-2 با مدل Attention U-Net-Vit جدید | ||
| پژوهش های سنجش از دور و اطلاعات مکانی | ||
| دوره 2، شماره 2 - شماره پیاپی 4، تیر 1403، صفحه 233-246 اصل مقاله (1.8 M) | ||
| نوع مقاله: مقاله پژوهشی | ||
| شناسه دیجیتال (DOI): 10.22061/jrsgr.2024.11047.1071 | ||
| نویسندگان | ||
| مجید حیدری قولانلو1؛ رضا جوانمرد علی تپه* 1؛ عبادت قنبری پرمهر2 | ||
| 1دانشکده مهندسی برق و کامپیوتر، دانشگاه علم و فناوری مازندران، بهشهر، ایران | ||
| 2دانشکده مهندسی عمران، دانشگاه صنعتی نوشیروانی بابل، بابل، ایران | ||
| تاریخ دریافت: 13 تیر 1403، تاریخ بازنگری: 09 مهر 1403، تاریخ پذیرش: 11 آبان 1403 | ||
| چکیده | ||
| پیشینه و اهداف: با پیشرفت تکنولوژی و پیدایش ماهوارههای چندمنظوره، اطلاعات لحظهای زیادی از سطح زمین مخابره میشود. ماهواره ها به سنجنده هایی مجهز هستند که می توانند با ارسال سیگنالهایی در فرکانسهای مختلف به سطح زمین به اطلاعات مهمی دست یابند. دادههای دریافتی از این ماهوارهها در کاربردهای مختلف علمی و نظامی از جمله: هوانوردی، مطالعات جغرافیایی، هواشناسی، کشاورزی و دیگر حوزههای تحقیقاتی قابل استفاده است. حوزهی کشاورزی و پایش سطوح کشت نیز یکی از حوزههایی است که با توجه به مزیتهای روشهای سنجشازدور در مقایسه با روشهای سنتی، بهعنوان یکی از ابزارهای اصلی در جمعآوری اطلاعات محیطی برای کاربردهای پایش نواحی، مورد توجه پژوهشگران قرار گرفته است. یکی از این موضوعات، پایش منطقهای برای بررسی محصولات کشاورزی در مساحت سطح زیرکشت است که استفاده از ابزارهای سنجشازدور و تصاویر ماهوارهای به جهت پوشش منطقهای وسیع بسیار کارا است. جهت بررسی خودکار این تصاویر، طبقهبندی و بخشبندی نواحی سطح زیرکشت، امروزه از روشهای یادگیری ماشین استفاده میشود. در میان این روشها، یادگیری عمیق در مقایسه با دیگر روشهای یادگیری مانند روشهای دستی و یا روشهای نیمهخودکار، عملکرد بهتر و سرعت بالاتری دارد. روشها: در این مقاله مدلهای یادگیری عمیق که برای بخشبندی نواحی مناسب هستند مورد استفاده قرار گرفته است. عموما این مدلها بازای هر ورودی، خروجی معادل آن را با همان ابعاد تولید می کنند. لذا جهت کار بر روی تصاویر ماهوارهای، در این پژوهش مدل U-Net بهبود یافتهای ارائه شده است. مدل پیشنهادی با استفاده از ViT در گلوگاه مدل برای طبقهبندی و بخشبندی چهار نوع محصول کشاورزی شامل برنج، گندم، کلزا و ذرت توسعه داده شده است. استفاده از ViT در مقایسه با لایههای کانولوشن از لحاظ ایده و پیادهسازی الگوریتمی کاراتر است و حجم محاسباتی کمتری دارد. این مدل مشکلات و نقاط ضعف مدل پایه U-Net را که برای مجموعه دادههای پیچیده، متنوع در شکل، اندازه و بافت به وجود میآید، برطرف مینماید. یافتهها: در نتایج آزمایشات انجام شده روش پیشنهادی توانسته است با رسیدن به دقت 83.84 و صحت 70.69، بهتر از دیگر روشها دستهبندی درستی از 5 محصول مورد نظر را ارائه دهد. همچنین خروجیهای کیفی نیز نشاندهندهی بخشبندی بهتر تصاویر ورودی با اعمال روش پیشنهادی میباشد. در کنار معیار دقت، دیگر معیارها مانند افت کانونی، بازیابی و MIoU نیز مورد بررسی قرار گرفت که در اکثر موارد روش پیشنهادی به مقدار قابل قبولی رسیده است. لازم به ذکر است که با توجه به اینکه منطقه ی مورد نظر در ایران در نظر گرفته شد، جمع آوری و برچسب گذاری داده ها نیز در این پژوهش انجام شده است که میتواند بعنوان مجموعه داده ی مناسبی برای آموزش دیگر مدلها استفاده شود. نتیجهگیری: این تحقیق یک مدل سرتاسری برای یادگیری ویژگیهای مرتبط با بخش بندی تصاویر ماهوارهای ارائه داده است. نتایج این تحقیق نشان میدهد که روش ارائه شده میتواند برای بخش بندی تصاویر ماهواره ای دریافتی از سنتینل-2 برای محصولات مورد نظر مورد استفاده قرار گیرد. لذا نتایج حاصل می تواند در مدیریت مصرف آب، تنظیم ساختار کاشت، تخمین تلفات و ارزیابی عملکردهای زراعی نقش مهمی را ایفا نماید. با بهرهگیری از این روشها، میتوان به بهبود کارایی و دقت در مدیریت کشاورزی دست یافت و از منابع این حوزه بهینهتراستفاده کرد. | ||
| کلیدواژهها | ||
| سنجش از دور؛ یادگیری عمیق؛ پردازش تصاویر ماهوارهای؛ تشخیص محصولات کشاورزی | ||
| عنوان مقاله [English] | ||
| Large Scale Crop Type Mapping Using Multi Temporal Sentinel-2 Imagery and a New Attention U-Net-Vit | ||
| نویسندگان [English] | ||
| M. HeidariGholanlo1؛ R. Javanmard Alitappeh1؛ E. Ghnabari Parmehr2 | ||
| 1Dept. of Electrical and Computer Engineering, University of Science and Technology of Mazandaran, Behshahr, Iran | ||
| 2Dept. of Geomatics Engineering, Babol Noshirvani University of Technology, Babol, Iran | ||
| چکیده [English] | ||
| Background and Objectives: With the advancement of technology and the emergence of multifunctional satellites, a significant amount of real time information is now transmitted from the Earth's surface. These satellites are equipped with sensors that obtain critical information by sending signals at various frequencies to the Earth's surface. The data received from these satellites are utilized in various scientific and military applications, including aviation, geographical studies, meteorology, agriculture, and other research fields. The agricultural sector and crop monitoring have especially benefited from remote sensing methods compared to traditional methods, becoming a primary tool for collecting environmental information for area monitoring applications, attracting researchers' attention. One such application is regional monitoring to examine agricultural products over cultivated areas. The use of remote sensing tools and satellite images is highly efficient due to their wide regional coverage. To automatically analyze these images, classify, and segment cultivated areas, machine learning methods are currently employed. Among these methods, deep learning offers superior performance and higher speed compared to other learning methods, such as manual or semi-automatic methods. Methods: This paper utilizes deep learning models suitable for segmenting agricultural areas. Generally, these models produce an output of equivalent dimensions for each input. Therefore, for working with satellite images, an improved U-Net model is proposed in this study. The proposed model is developed using Vision Transformers (ViT) in the model's bottleneck for classifying and segmenting four types of agricultural products: rice, wheat, canola, and corn. Compared to convolutional layers, ViT is more efficient in terms of conceptual and algorithmic implementation and requires less computational power. This model addresses the problems and weaknesses of the base U-Net model that arise with complex datasets, diverse in shape, size, and texture, enabling more accurate and reliable segmentation results. Additionally, the proposed improvements enhance the model's robustness and adaptability to various agricultural scenarios. Findings: In the numerous experiments conducted, the proposed method achieved an accuracy of 83.84 and Precision of 70.69%, providing a better classification of the five target products compared to other methods. The qualitative outputs also indicate better segmentation of the input images when applying the proposed method. Alongside the accuracy metric, other metrics such as focal loss, recall, precision, and MIoU were examined, with the proposed method reaching acceptable levels in most cases. Notably, as the target area was in Iran, data collection and labeling were also carried out in this research, providing a suitable dataset for training other models Conclusion: This research presents an end-to-end model for learning features related to the segmentation of satellite images. The results indicate that the proposed method can be effectively used for segmenting satellite images received from Sentinel-2 for the target products, such as various crops. Therefore, the results obtained can play a crucial role in water consumption management, planting structure adjustment, loss estimation, and agricultural performance evaluation, providing significant insights for stakeholders. By utilizing these methods, it is possible to achieve improved efficiency and accuracy in agricultural management and optimize resource use in this area, contributing to sustainable agricultural practices and better decision-making processes. | ||
| کلیدواژهها [English] | ||
| Remote sensing, Deep learning, Satellite image processing, Agricultural products detection | ||
| مراجع | ||
|
[1] D. Torbunov et al., "Uvcgan: Unet vision transformer cycle-consistent gan for unpaired image-to-image translation," in Proceedings of the IEEE/CVF winter conference on applications of computer vision, 2023, pp. 702-712. https://doi.org/10.1109/wacv56688.2023.00077 [2] D. Wisser, S. Frolking, E.M. Douglas, B. M. Fekete, C. J. Vörösmarty, and A. H. Schumann, "Global irrigation water demand: Variability and uncertainties arising from agricultural and climate data sets," Geophysical Research Letters, vol. 35, no. 24, 2008. https://doi.org/10.1029/2008GL035296 [3] M. Flörke, C. Schneider, and R. I. McDonald, "Water competition between cities and agriculture driven by climate change and urban growth," Nature Sustainability, vol. 1, no. 1, pp. 51-58, 2018. https://doi.org/10.1038/s41893-017-0006-8 [4] F. Alimohammadi et al., "Hyperspectral imaging coupled with multivariate analysis and artificial intelligence to the classification of maize kernels," International Agrophysics, vol. 36, no. 2, 2022. https://doi.org/10.31545/intagr/147227 doi: 10.31545/intagr/152122 [7] I. Becker-Reshef et al., "Crop type maps for operational global agricultural monitoring," Scientific Data, vol. 10, no. 1, p. 172, 2023. https://doi.org/10.1038/s41597-023-02047-9 [8] K. Luo, L. Lu, Y. Xie, F. Chen, F. Yin, and Q. Li, "Crop type mapping in the central part of the North China Plain using Sentinel-2 time series and machine learning," Computers and Electronics in Agriculture, vol. 205, p. 107577, 2023. https://doi.org/10.1016/j.compag.2022.107577 [9] J. Bramich, C. J. Bolch, and A. Fischer, "Improved red-edge chlorophyll-a detection for Sentinel 2," Ecological Indicators, vol. 120, p. 106876, 2021. [10] L. Feng, Y. Wang, Z. Zhang, and Q. Du, "Geographically and temporally weighted neural network for winter wheat yield prediction," Remote Sensing of Environment, vol. 262, p. 112514, 2021. https://doi.org/10.1016/j.ecolind.2020.106876 [11] L. Blickensdörfer,M. Schwieder, D. Pflugmacher, C. Nendel, S. Erasmi, and P. Hostert, "Mapping of crop types and crop sequences with combined time series of Sentinel-1, Sentinel-2 and Landsat 8 data for Germany," Remote sensing of environment, vol. 269, p. 112831, 2022. https://doi.org/10.1016/j.rse.2021.112831 https://spj.science.org/doi/full/10.34133/2021/8379391 https://doi.org/10.3390/rs15112727 [14] A. Orynbaikyzy, U. Gessner, and C. Conrad, "Spatial transferability of random forest models for crop type classification using Sentinel-1 and Sentinel-2," Remote Sensing, vol. 14, no. 6, p. 1493, 2022. https://doi.org/10.3390/rs14061493 [15] M. Huang et al., "Remote sensing image fusion algorithm based on two-stream fusion network and residual channel attention mechanism," Wireless Communications and Mobile Computing, vol. 2022, pp. 1-14, 2022. https://doi.org/10.1155/2022/8476000 [16] F. Ahmed, H. A. Al-Mamun, A. H. Bari, E. Hossain, and P. Kwan, "Classification of crops and weeds from digital images: A support vector machine approach ",Crop Protection, vol. 40, pp. 98-104, 2012. https://doi.org/10.1016/j.cropro.2012.04.024 [17] R. Saini and S. K. Ghosh, "Crop classification on single date sentinel-2 imagery using random forest and support vector machine," The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. 42, pp. 683-688, 2018. https://doi.org/10.5194/isprs-archives-XLII-5-683-2018, 2018 [18] G.-H. Kwak et al., "Combining 2D CNN and bidirectional LSTM to consider spatio-temporal features in crop classification," Korean Journal of Remote Sensing, vol. 35, no. 5_1, pp. 681-692, 2019. https://doi.org/10.7780/kjrs.2019.35.5.1.5 [19] Y. Wang, L. Feng, Z. Zhang, and F. Tian, "An unsupervised domain adaptation deep learning method for spatial and temporal transferable crop type mapping using Sentinel-2 imagery," ISPRS Journal of Photogrammetry and Remote Sensing, vol. 199, pp. 102-117, 2023. https://doi.org/10.1016/j.isprsjprs.2023.04.002 [20] J. Lee and T. Warner, "Segment based image classification," International Journal of Remote Sensing, vol. 27, no. 16, pp. 3403-3412, 2006. https://doi.org/10.1080/01431160600606866 https://doi.org/10.1109/cvprw56347.2022.00359 [22] J. Yao and S. Jin, "Multi-category segmentation of Sentinel-2 images based on the Swin UNet method," Remote Sensing, vol. 14, no. 14, p. 3382, 2022. https://doi.org/10.3390/rs14143382 https://doi.org/10.1016/j.compag.2022.107297 https://doi.org/10.3390/s23157008 [25] A. Joshi, B. Pradhan, S. Gite, and S. Chakraborty, "Remote-sensing data and deep-learning techniques in crop mapping and yield prediction: A systematic review," Remote Sensing, vol. 15, no. 8, p. 2014, 2023. https://doi.org/10.3390/rs15082014 [26] A. H. Khan, Z. Zafar, M. Shahzad, K. Berns, and M. M. Fraz, "Crop Type Classification using Multi-temporal Sentinel-2 Satellite Imagery: A Deep Semantic Segmentation Approach," in 2023 International Conference on Robotics and Automation in Industry (ICRAI), 2023: IEEE, pp. 1-6. https://doi.org/10.1109/ICRAI57502.2023.10089586 [27] S. T. Seydi, M. Amani, and A. Ghorbanian, "A dual attention convolutional neural network for crop classification using time-series Sentinel-2 imagery," Remote Sensing, vol. 14, no. 3, p. 498, 2022. https://doi.org/10.3390/rs14030498 [28] Z. Niu, G. Zhong, and H. Yu, "A review on the attention mechanism of deep learning," Neurocomputing, vol. 452, pp. 48-62, 2021. https://doi.org/10.1016/j.neucom.2021.03.091 https://doi.org/10.7717/peerjcs.1946/fig-10 https://doi.org/10.1109/cvpr52688.2022.00134 [31] W. Song et al., "Bi-Objective Crop Mapping from Sentinel-2 Images Based on Multiple Deep Learning Networks," Remote Sensing, vol. 15, no. 13, p. 3417, 2023. https://doi.org/10.3390/rs15133417 https://doi.org/10.1080/10106049.2021.1943009 [33] L. Wang, G. Jin, X. Xiong, H. Zhang, and K. Wu, "Object-based automatic mapping of winter wheat based on temporal phenology patterns derived from multitemporal Sentinel-1 and Sentinel-2 imagery," ISPRS International Journal of Geo-Information, vol. 11, no. 8, p. 424, 2022. https://doi.org/10.3390/ijgi11080424 https://doi.org/10.1109/JSTARS.2023.3329987 https://doi.org/10.1007/978-3-030-00889-5_1 [36] W. Song et al., "Hierarchical extraction of cropland boundaries using Sentinel-2 time-series data in fragmented agricultural landscapes," Computers and Electronics in Agriculture, vol. 212, p. 108097, 2023. https://doi.org/10.1016/j.compag.2023.108097 https://doi.org/10.3390/rs15061517 https://doi.org/10.7717/peerj-cs.1767/fig-2 [39] Wang, Xuqi, Shanwen Zhang, and Ting Zhang. "Crop insect pest detection based on dilated multi-scale attention U-Net." Plant Methods 20.1 2024. https://doi.org/10.1186/s13007-024-01163-w https://doi.org/10.1007/978-3-031-25066-8_9 https://doi.org/10.1007/s11227-023-05533-4 [42] He, Sheng, et al. "Segmentation ability map: Interpret deep features for medical image segmentation." Medical image analysis 84 (2023): 102726. https://doi.org/10.1016/j.media.2022.102726 [43] M. Saadat, S. T. Seydi, M. Hasanlou, and S. Homayouni, "A Convolutional Neural Network Method for Rice Mapping Using Time-Series of Sentinel-1 and Sentinel-2 Imagery," Agriculture, vol. 12, no. 12, p. 2083, 2022. https://doi.org/10.3390/agriculture12122083 [44] A. M. Obeso, J. Benois-Pineau, A. Á. R. Acosta, and M. S. G. Vázquez, "Architectural style classification of Mexican historical buildings using deep convolutional neural networks and sparse features," Journal of Electronic Imaging, vol. 26, no. 1, pp. 011016-011016, 2017. https://doi.org/10.1117/1.jei.26.1.011016 [45] Mountrakis, Giorgos, Jungho Im, and Caesar Ogole. "Support vector machines in remote sensing: A review." ISPRS journal of photogrammetry and remote sensing 66.3 (2011): 247-259. https://doi.org/10.1016/j.isprsjprs.2010.11.001 [46] Torbunov, Dmitrii, et al. "Uvcgan: Unet vision transformer cycle-consistent gan for unpaired image-to-image translation." Proceedings of the IEEE/CVF winter conference on applications of computer vision. 2023. https://doi.org/10.1109/wacv56688.2023.00077 [47] T. Lu, M. Gao, and L. Wang, "Crop classification in high-resolution remote sensing images based on multi-scale feature fusion semantic segmentation model," Frontiers in Plant Science, vol. 14, p. 1196634, 2023. https://doi.org/10.3389/fpls.2023.1196634 https://doi.org/10.20944/preprints202411.2377.v1 [49] Nikouei, Seyed Yahya, et al. "Real-time human detection as an edge service enabled by a lightweight cnn." 2018 IEEE International Conference on Edge Computing (EDGE). IEEE, 2018. https://doi.org/10.1109/edge.2018.00025 [50] Zhang, Anjun, et al. "Region level SAR image classification using deep features and spatial constraints." ISPRS journal of photogrammetry and remote sensing 163 (2020): 36-48. https://doi.org/10.1016/j.isprsjprs.2020.03.001 https://doi.org/10.3390/rs15010196 https://doi.org/10.5753/wvc.2020.13491 | ||
|
آمار تعداد مشاهده مقاله: 608 تعداد دریافت فایل اصل مقاله: 362 |
||