پیوندهای مفید
آمار
| تعداد نشریات | 15 |
| تعداد شمارهها | 239 |
| تعداد مقالات | 2,430 |
| تعداد مشاهده مقاله | 4,047,883 |
| تعداد دریافت فایل اصل مقاله | 2,939,777 |
آشکارسازی تغییرات سهبعدی در مناطق شهری با استفاده از مدل UNet++ | ||
| پژوهش های سنجش از دور و اطلاعات مکانی | ||
| دوره 3، شماره 2 - شماره پیاپی 6، تیر 1404، صفحه 363-378 اصل مقاله (1.34 M) | ||
| نوع مقاله: مقاله پژوهشی | ||
| شناسه دیجیتال (DOI): 10.22061/jrsgr.2026.12415.1107 | ||
| نویسندگان | ||
| مهدی حسنلو* 1؛ علیرضا ابراهیمی2 | ||
| 1دانشکده مهندسی نقشه برداری و اطلاعات مکانی، دانشکدگان فنی، دانشگاه تهران، تهران، ایران | ||
| 2دانشکده مهندسی نقشهبرداری و اطلاعات مکانی، دانشکدگان فنی، دانشگاه تهران، تهران، ایران | ||
| تاریخ دریافت: 29 خرداد 1404، تاریخ بازنگری: 25 شهریور 1404، تاریخ پذیرش: 20 دی 1404 | ||
| چکیده | ||
| پیشینه و اهداف: امروزه با توسعه شهر نشینی، ضرورت به روزرسانی خودکار نقشههای تغییرات بیش از پیش اهمیت یافته است. به روزرسانی نقشههای مکانی، نظارت بر ساخت و ساز و پایش مناطق توسعه یافته نیازمند اطلاعات دقیق از بافت شهری و نقشههای جدید تغییرات میباشد. از آنجا که روشهای سنتی پایش اغلب به تحلیل دو بعدی تغییرات پرداخته و حساسیت کافی در ثبت تغییرات بعد سوم یا ارتفاع را ندارند، لذا این محدودیت موجب عدم تشخیص ساخت و سازهای طبقهای شده که در نتیجه آن، نقص اطلاعات در پایش را به همراه خواهد داشت. با پیشرفت در سنجش ازدور و روشهای نوین یادگیری عمیق، آشکارسازی تغییرات سه بعدی شهری امکان پذیر شده است که تاکنون نتایج برتری را نسبت به روشهای کلاسیک ارائه دادهاند. این پژوهش با هدف بهبود عملکرد در آشکارسازی تغییرات سه بعدی شهری، رویکردی بر مبنای یادگیری عمیق با استفاده از دادههایی با منابع مختلف ارائه میدهد تا انواع تغییرات ساختمانی به طور خودکار شناسایی و تفکیک نماید. هدف اصلی تفکیک چهار نوع تغییر ساختمانی از جمله ساخت جدید، تخریب کامل، افزایش ارتفاع و کاهش ارتفاع در کنار نواحی بدون تغییر میباشد تا نقشه جامعی از تغییرات سه بعدی شهری ارائه گردد. روشها: مجموعه داده مورد استفاده در این پژوهش شامل تصاویر هوایی رنگی (RGB) با وضوح مکانی بالا به همراه دادههای مدل رقومی سطح (DSM) مربوط به دو بازهی زمانی مختلف از محدوده شهری والادولید اسپانیا میباشد. داده ورودی شامل تصاویر رنگی قبل و بعد از تغییر به همراه مدل ارتفاعی متناظر آن به صورت یک ورودی هشت بانده با یکدیگر ترکیب شده تا شبکه به طور همزمان اطلاعات طیفی و ارتفاعی را مشاهده کند و جهت ورود به فرآیند آموزش مدل، دادهها به نسبت 90 به 10درصد به دو دسته آموزش و آزمایش تقسیمبندی میشوند. جهت افزایش تنوع دادههای آموزش و جلوگیری از برازش بیش از حد از روشهایی چون وارونسازی افقی و عمودی، چرخش تصادفی و تاری گاوسی بهره گرفته شده است. معماری مدل متشکل از یک شبکهی عمیق ResNet-34به عنوان بخش ویژگی یاب و از شبکه UNet++ جهت بازسازی پیکسل به پیکسل تغییرات میباشد. همچنین برای به روزرسانی پارامترهای مدل از الگوریتم Adam بهره گرفته شده است. در مرحله نخست مدل شبکه عمیق به صورت دودویی (تغییر/عدم تغییر) آموزش داده شده و عملکرد آن در مقایسه با روش کلاسیک جنگل تصادفی، تفاضل یا نسبت گیری و روش ترکیبی تحلیل مولفههای اصلی (PCA) و خوشه بندی K-Means مقایسه میشود. پس از آن شبکه با برچسبهای پنج کلاسه شامل چهار نوع تغییر گفته شده و برچسب عدم تغییر مجددا آموزش داده و جهت بهبود فرآیند یادگیری از یک تابع هزینه ساز بر مبنای بهینه سازی مستقیم معیار (IoU) استفاده شده است. جهت مقایسه عملکرد مدلها از معیارهایی نظیر Accuracy، Recall، F1-score و Precision استفاده شده است. یافتهها: در مرحله نخست این شبکه پس از 50 اپک آموزش اغلب تغییرات واقعی را شناسایی کرده و در عین حال نرخ هشدار غلط را پایین نگه داشته است که معیارهای ارزیابی Recall، Accuracy و F1-score با مقادیر 98.5% و 98.5% و 0.92 این نتایج را تأکید میکنند و این ارقام به طور محسوسی بهتر از روشهای کلاسیک بوده. همچنین در مدل یادگیری عمیق بر خلاف دیگر روشها تقریبا تمامی موارد ساخت و ساز یا تخریب در مقیاسهای کوچک تشخیص داده شده است. در مرحله پنج کلاسه، تغییرات به خوبی توسط مدل شناسایی و طبقه بندی شدهاند و معیارهای Recall، Accuracy و F1-score به ترتیب برابر با 96.32% و 96% و 0.95 میباشد. تمامی سازههای جدید احداث شده و ساختمانهای کاملا تخریب شده در نقشه خروجی مدل با برچسب درست تشخیص داده شده اند و بخش وسیعی از مناطق بدون تغییر هیچ برچسب اشتباهی دریافت نکردهاند. نتیجهگیری: نتایج نشاندهنده آن است که ترکیب دادههای ارتفاعی با تصاویر دو بعدی و به کارگیری مدلهای یادگیری عمیق به طرز چشمگیری کاستیهای روش سنتی تشخیص تغییرات را برطرف کرده و افزایش دقت را به همراه خواهد داشت. این مدل توسعه یافته قادر است که نه تنها مکان تغییر بلکه نوع تغییر را شناسایی کند. لازم به ذکر است که از این شیوه نوین میتوان جهت پایش ساخت و سازهای غیر مجاز، به روز رسانی پایگاههای داده مکانی و ارزیابی تغییرات شهری استفاده شود. مهمترین محدودیت این پژوهش وابستگی به دادههای ارتفاعی دقیق میباشد که تهیه منظم آن در تمامی شهرها امکان پذیر نمیباشد. به علاوه آموزش مدلهای عمیق نیازمند دادههای برچسب دار گسترده و توان پردازشی بالا میباشد که ممکن است در کاربردهای عملی محدودیت ایجاد کند. | ||
| کلیدواژهها | ||
| آشکارسازی تغییرات؛ سنجش از دور؛ یادگیری عمیق؛ سه بعدی؛ شبکه عصبی پیچشی | ||
| عنوان مقاله [English] | ||
| Multi-Class 3D Change Detection in Urban Areas Using UNet++ | ||
| نویسندگان [English] | ||
| M. Hasanlou1؛ A. Ebrahimi2 | ||
| 1School of Surveying and Geospatial Engineering, College of Engineering, University of Tehran. Tehran. Iran | ||
| 2School of Surveying and Geospatial Engineering, College of Engineering, University of Tehran, Tehran, Iran | ||
| چکیده [English] | ||
| Background and Objectives: With the rapid expansion of urbanization, the need for automatic updating of change maps has become increasingly important. Accurate and up-to-date spatial information is essential for monitoring construction activities and tracking the development of urban areas. Traditional approaches to change detection are mostly limited to two-dimensional analysis and often lack sensitivity to vertical changes. This shortcoming fails to identify multi-story constructions, thereby limiting the completeness of monitoring outcomes. Recent advances in remote sensing and deep learning have enabled three-dimensional urban change detection, providing superior results compared to classical methods. This study aims to improve the performance of 3D urban change detection by introducing a deep learning approach that integrates multi-source data. The primary objective is to automatically identify and distinguish four types of building-related changes—new construction, complete demolition, height increase, and height decrease—alongside unchanged areas, to generate a comprehensive 3D change map. Methods: The dataset employed in this research consists of high-resolution RGB aerial imagery and corresponding Digital Surface Model (DSM) data acquired from two different periods over Valladolid, Spain. The input data were prepared by stacking RGB images and DSMs from both epochs into an eight-band input, allowing the network to jointly analyze spectral and elevation information. The dataset was divided into training (90%) and testing (10%) subsets. To increase variability in the training data and reduce overfitting, augmentation techniques such as horizontal and vertical flipping, random rotation, and Gaussian blurring were applied. The proposed model architecture combines a ResNet-34 backbone for feature extraction with a UNet++ decoder for pixel-level change reconstruction. Model parameters were updated using the Adam optimizer. In the first stage, the deep network was trained in a binary setting (change/no-change) and evaluated against classical approaches, including Random Forest, image differencing/ratioing, and a PCA–K-Means hybrid method. In the second stage, the network was retrained for five-class classification, including the four change categories and the unchanged class, using a loss function optimized directly for the Intersection-over-Union (IoU) metric. Model performance was assessed using Accuracy, Recall, Precision, and F1-score. Findings: In the binary classification stage, after 50 epochs of training, the network successfully identified most real changes while maintaining a low false alarm rate. Evaluation metrics confirmed this performance, with Recall and Accuracy both reaching 98.5% and an F1-score of 0.92, considerably outperforming the classical methods. Unlike traditional approaches, the deep learning model was able to detect almost all small-scale constructions and demolitions. In the five-class stage, the model effectively identified and classified change types, achieving a Recall of 96.32%, an Accuracy of 96%, and an F1-score of 0.95. All newly constructed and fully demolished buildings were correctly labeled in the output maps, and a large proportion of unchanged areas received no misclassification. Conclusion: The findings demonstrate that combining elevation data with 2D imagery and leveraging deep learning architectures significantly mitigates the limitations of traditional change detection approaches and enhances accuracy. The developed model is capable of detecting not only the location but also the type of change. This approach has strong potential applications in monitoring unauthorized constructions, updating spatial databases, and assessing urban development. However, its effectiveness relies on the availability of accurate DSM data, which may not be consistently accessible for all urban areas. Additionally, the training of deep networks requires extensive labeled datasets and considerable computational resources, which could limit their applicability in operational contexts. | ||
| کلیدواژهها [English] | ||
| Change Detection, Remote Sensing, Deep Learning, 3D, CNN | ||
| مراجع | ||
|
[1] Wen D, Huang X, Bovolo F, Li J, Ke X, Zhang A, et al. Change detection from very-high-spatial-resolution optical remote sensing images: Methods, applications, and future directions. IEEE Geoscience and Remote Sensing Magazine. 2021;9(4):68-101. DOI: 10.1109/MGRS.2021.3063465. DOI: 10.1016/B978-0-12-815226-3.00029-6. [3] Jensen JR, Im J. Remote sensing change detection in urban environments. Geo-spatial technologies in urban environments: policy, practice, and pixels: Springer; 2007. p. 7-31. DOI:10.1007/978-3-540-69417-5_2. [4] Gstaiger V, Tian J, Kiefl R, Kurz F. 2D vs. 3D change detection using aerial imagery to support crisis management of large-scale events. Remote Sensing. 2018;10(12):2054. DOI:10.3390/rs10122054. [5] Champion N, Boldo D, Pierrot-Deseilligny M, Stamon G. 2D building change detection from high resolution satelliteimagery: A two-step hierarchical method based on 3D invariant primitives. Pattern Recognition Letters. 2010;31(10):1138-47. DOI:10.1016/j.patrec.2009.10.012. [6] Qin R. Change detection on LOD 2 building models with very high resolution spaceborne stereo imagery. ISPRS journal of photogrammetry and remote sensing. 2014;96:179-92. DOI:10.1016/j.isprsjprs.2014.07.007. [7] Qin R, Tian J, Reinartz P. 3D change detection–approaches and applications. ISPRS Journal of Photogrammetry and Remote Sensing. 2016;122:41-56. DOI:10.1016/j.isprsjprs.2016.09.013. [8] Jiang H, Peng M, Zhong Y, Xie H, Hao Z, Lin J, et al. A survey on deep learning-based change detection from high-resolution remote sensing images. Remote Sensing. 2022;14(7):1552. DOI:10.3390/rs14071552. [9] Song A, Choi J. Fully convolutional networks with multiscale 3D filters and transfer learning for change detection in high spatial resolution satellite images. Remote Sensing. 2020;12(5):799. DOI:10.3390/rs12050799. [10] Huang L, Tian Q, Tang B-H, Le W, Wang M, Ma X. Siam-EMNet: A Siamese EfficientNet–MANet Network for Building Change Detection in Very High Resolution Images. Remote Sensing. 2023;15(16):3972. DOI:10.3390/rs15163972. [11] Peng D, Zhang Y, Guan H. End-to-end change detection for high resolution satellite images using improved UNet++. Remote Sensing. 2019;11(11):1382. DOI:10.3390/rs11111382. [12] Lv Z, Huang H, Gao L, Benediktsson JA, Zhao M, Shi C. Simple multiscale UNet for change detection with heterogeneous remote sensing images. IEEE Geoscience and Remote Sensing Letters. 2022;19:1-5. DOI:10.1109/LGRS.2022.3173300. [13] Wang Z, Pan Z, Hu Y, Lei B. FRCD: Feature Refine Change Detection Network for Remote Sensing Images. IEEE Geoscience and Remote Sensing Letters. 2023. DOI:10.1109/LGRS.2023.3303200. [14] Meshkini K, Bovolo F, Bruzzone L. A 3D CNN approach for change detection in HR satellite image time series based on a pretrained 2D CNN. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2022;43:143-50. DOI:10.5194/isprs-archives-XLIII-B3-2022-143-2022. [15] Tian J, Cui S, Reinartz P. Building change detection based on satellite stereo imagery and digital surface models. IEEE Transactions on Geoscience and Remote Sensing. 2013;52(1):406-17. DOI:10.1109/TGRS.2013.2240692. [16] Wen D, Huang X, Zhang A, Ke X. Monitoring 3D building change and urban redevelopment patterns in inner city areas of Chinese megacities using multi-view satellite imagery. Remote Sensing. 2019;11(7):763. DOI:10.3390/rs11070763. [17] Hussain M, Chen D, Cheng A, Wei H, Stanley D. Change detection from remotely sensed images: From pixel-based to object-based approaches. ISPRS Journal of photogrammetry and remote sensing. 2013;80:91-106. DOI:10.1016/j.isprsjprs.2013.03.006. [18] Gao M, Qi D, Mu H, Chen J. A transfer residual neural network based on ResNet-34 for detection of wood knot defects. Forests. 2021;12(2):212. DOI:10.3390/f12020212. [19] Brahim E, Amri E, Barhoumi W, Bouzidi S. Fusion of UNet and ResNet decisions for change detection using low and high spectral resolution images. Signal, Image and Video Processing. 2024;18(Suppl 1):695-702. DOI:10.1007/s11760-024-03185-2. [20] Zhu XX, Tuia D, Mou L, Xia G-S, Zhang L, Xu F, et al. Deep learning in remote sensing: A comprehensive review and list of resources. IEEE geoscience and remote sensing magazine. 2017;5(4):8-36. DOI:10.1109/MGRS.2017.2762307. [21] Zhang J, Lin X. Advances in fusion of optical imagery and LiDAR point cloud applied to photogrammetry and remote sensing. International Journal of Image and Data Fusion. 2017;8(1):1-31. DOI:10.1080/19479832.2016.1160960 . [22] Nanni L, Paci M, Brahnam S, Lumini A. Comparison of different image data augmentation approaches. Journal of imaging. 2021;7(12):254. DOI:10.3390/jimaging7120254. [23] Van Dyk DA, Meng X-L. The art of data augmentation. Journal of Computational and Graphical Statistics. 2001;10(1):1-50. DOI:10.1198/10618600152418584. [25] Zhang Z, editor Improved adam optimizer for deep neural networks. 2018 IEEE/ACM 26th international symposium on quality of service (IWQoS); 2018: Ieee. DOI:10.1109/IWQoS.2018.8624183. [26] He K, Zhang X, Ren S, Sun J, editors. Deep residual learning for image recognition. Proceedings of the IEEE conference on computer vision and pattern recognition; 2016. DOI:10.1109/CVPR.2016.90. DOI:10.1007/s11042-017-4440-4. [29] Zhang X, Yue Y, Gao W, Yun S, Su Q, Yin H, et al. DifUnet++: A satellite images change detection network based on Unet++ and differential pyramid. IEEE Geoscience and Remote Sensing Letters. 2021;19:1-5. DOI:10.1109/LGRS.2021.3049370. [30] Deng L, Wang Y, Lan Q, Chen F. Remote sensing image building change detection based on efficient-UNet++. Journal of Applied Remote Sensing. 2023;17(3):034501-. DOI:10.1117/1.JRS.17.034501. [31] Berman M, Triki AR, Blaschko MB, editors. The lovász-softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks. Proceedings of the IEEE conference on computer vision and pattern recognition; 2018. DOI: 10.1109/CVPR.2018.00464. DOI:10.5194/isprs-archives-XLIII-B3-2020-1507-2020. [33] Kingma D, Ba J. Adam: A method for stochastic optimization: International Conference on Learning Representations 5. 2015. DOI:10.48550/arXiv.1412.6980. [34] Kingma DP, Ba J. Adam: A method for stochastic optimization. arXiv preprint arXiv:14126980. 2014. DOI:10.48550/arXiv.1412.6980. [35] Ji S, Wei S, Lu M. Fully convolutional networks for multisource building extraction from an open aerial and satellite imagery data set. IEEE Transactions on geoscience and remote sensing. 2018;57(1):574-86. DOI:10.1109/TGRS.2018.2858817. [36] Mikołajczyk A, Grochowski M, editors. Data augmentation for improving deep learning in image classification problem. 2018 international interdisciplinary PhD workshop (IIPhDW); 2018: IEEE. DOI:10.1109/IIPHDW.2018.8388338. DOI:10.1109/TGRS.2021.3066802. DOI:10.48550/arXiv.1712.04621. DOI:10.1109/TIP.2004.838698. [40] Belgiu M, Drăguţ L. Random forest in remote sensing: A review of applications and future directions. ISPRS journal of photogrammetry and remote sensing. 2016;114:24-31. DOI:10.1016/j.isprsjprs.2016.01.011. DOI:10.1080/0143116031000139863. [42] JST C, editor Change detection from a street image pair using cnn features and superpixel segmentation. Proc Brit Mach Vis Conf; 2015. DOI:10.5244/C.29.61. [43] Maggiori E, Tarabalka Y, Charpiat G, Alliez P. Convolutional neural networks for large-scale remote-sensing image classification. IEEE Transactions on geoscience and remote sensing. 2016;55(2):645-57. DOI:10.1109/TGRS.2016.2612821. DOI:10.1109/ICIP.2018.8451652. [45] Gharibbafghi Z, Tian J, Reinartz P, editors. Superpixel-based 3D building model refinement and change detection, using VHR stereo satellite imagery. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops; 2019. DOI:10.1109/CVPRW.2019.00069. [46] Li J, Zhu S, Gao Y, Zhang G, Xu Y. Change detection for high-resolution remote sensing images based on a multi-scale attention Siamese network. Remote Sensing. 2022;14(14):3464. DOI:10.3390/rs14143464. [47] Gholamrezaie H, Hasanlou M, Amani M, Mirmazloumi M. Automatic Mapping of Burned Areas Using Landsat 8 Time-Series Images in Google Earth Engine: A Case Study from Iran. Remote Sensing. 2022. DOI:10.3390/rs14246376. DOI:10.5194/isprs-archives-XLIII-B3-2022-1349-2022. | ||
|
آمار تعداد مشاهده مقاله: 749 تعداد دریافت فایل اصل مقاله: 111 |
||