دانشگاه تربیت دبیر شهید رجائی
انتشارات دانشگاه تربیت دبیر شهید رجائی

  اخبار و اعلانات

 آمار

تعداد نشریات11
تعداد شماره‌ها210
تعداد مقالات2,106
تعداد مشاهده مقاله2,887,786
تعداد دریافت فایل اصل مقاله2,094,420
شمسی, محبوبه, دیوانی, مرضیه, رسولی کناری, عبدالرضا. (1400). طراحی سیستم مترجم مبتنی بر آواتار زبان فارسی به زبان اشاره فارسی. فناوری آموزش, 15(2), 277-290. doi: 10.22061/tej.2020.6747.2446
محبوبه شمسی; مرضیه دیوانی; عبدالرضا رسولی کناری. "طراحی سیستم مترجم مبتنی بر آواتار زبان فارسی به زبان اشاره فارسی". فناوری آموزش, 15, 2, 1400, 277-290. doi: 10.22061/tej.2020.6747.2446
شمسی, محبوبه, دیوانی, مرضیه, رسولی کناری, عبدالرضا. (1400). 'طراحی سیستم مترجم مبتنی بر آواتار زبان فارسی به زبان اشاره فارسی', فناوری آموزش, 15(2), pp. 277-290. doi: 10.22061/tej.2020.6747.2446
شمسی, محبوبه, دیوانی, مرضیه, رسولی کناری, عبدالرضا. طراحی سیستم مترجم مبتنی بر آواتار زبان فارسی به زبان اشاره فارسی. فناوری آموزش, 1400; 15(2): 277-290. doi: 10.22061/tej.2020.6747.2446

طراحی سیستم مترجم مبتنی بر آواتار زبان فارسی به زبان اشاره فارسی

فناوری آموزش
مقاله 6، دوره 15، شماره 2 - شماره پیاپی 58، فروردین 1400، صفحه 277-290    اصل مقاله (851.94 K)
نوع مقاله: مقاله پژوهشی
شناسه دیجیتال (DOI): 10.22061/tej.2020.6747.2446
نویسندگان
محبوبه شمسی* ؛ مرضیه دیوانی؛ عبدالرضا رسولی کناری
گروه مهندسی کامپیوتر، دانشکده برق و کامپیوتر، دانشگاه صنعتی قم، قم، ایران
تاریخ دریافت: 11 اردیبهشت 1399،  تاریخ بازنگری: 07 مهر 1399،  تاریخ پذیرش: 03 آبان 1399 
چکیده
پیشینه و اهداف:زبان اشاره یک زبان دیداری است که از شکل‌های دست، بیان چهره‌ای ژست‌ها و زبان بدنی جهت برقراری ارتباط استفاده می‌کند. مطالعات زبان‌شناختی نشان داده‌اند که زبان‌های اشاره هم‌چون زبان‌های گفتاری، طبیعی و برطرف‌کننده‌ نیاز ارتباطی گویشوران خود هستند. زبان اشاره نه یک زبان واحد است که جهانی باشد و نه هر کشوری زبان اشاره معادل زبان گفتاری خود دارد. زبان‌های اشاره بسیاری در جهان وجود دارند؛ از جمله زبان اشاره آمریکایی، انگلیسی، ژاپنی، ایتالیایی، ترکی، فارسی و... . زبان اشاره فارسی، زبان طبیعی ناشنوایان ایران می‌باشد.توانایی ارتباط مؤثر گامی پراهمیت در برقراری روابط و مشارکت ناشنوایان در اجتماع است. پشتیبانی و حمایت نشدن از جانب جامعه شنوا، افراد ناشنوا را به سمت منزوی شدن و سایر مشکلات اجتماعی می‌کشاند. به‌منظور غلبه بر موانعی که میان افراد شنوا و افراد دچار آسیب شنوایی وجود دارد، سیستم مترجمی نیاز است تا پیغام‌ها را متناسب با زبان گفتاری به زبان اشاره‌ای آن بازگرداند. یک سیستم مترجم زبان اشاره می‌تواند توسط ناشنوایان، خانواده‌ها و دوستان این دست از افراد، افراد نابینا – ناشنوا، افرادی که بر اثر عواملی، قدرت تکلم خود را از دست داده‌اند، اساتید و معلمان، کادر پزشکی و نیز افرادی که علاقه‌مند به یادگیری این زبان هستند، مورد استفاده و بهره‌برداری قرار گیرد. این مقاله، با ارائه یک سیستم مترجم خودکار جهت ترجمه زبان فارسی به زبان اشاره فارسی، درصدد آن است که ناشنوایان ایران را در برقراری ارتباط هرچه بهتر یاری رساند.
روش‌ها‌: سیستم مترجم پیشنهادی، به منظور تبدیل متن فارسی به زبان اشاره فارسی نیازمند استفاده از یک معماری می‌باشد. به دلیل ماهیت زبان فارسی به عنوان زبان ورودی سیستم مترجم و نیز مشکلات موجود در زبان اشاره فارسی به عنوان زبان خروجی سیستم مترجم، معماری سیستم‌های مترجم ارائه شده در سایر زبان‌ها قابل ارائه و توسعه در خصوص زبان فارسی نمی‌باشند. یکی از مهم‌ترین مسائل در زبان اشاره فارسی، عدم وجود اشاره معادل برای برخی کلمات است. به منظور فایق آمدن بر این مشکلات، معماری متناسب با زبان فارسی و زبان اشاره فارسی ارائه شد. سیستم ارائه شده، با استفاده از معماری پیشنهادی، متن به زبان فارسی را در قالب کلمه یا جمله از کاربر دریافت کرده، پس از انجام پردازش‌های اولیه و با استفاده از ماژول تبدیل واژگانی، آن را به معادل خود در زبان اشاره فارسی تبدیل و ترجمه می‌نماید. در نهایت، زبان اشاره معادلِ یک کلمه، عبارت یا جمله ورودی، توسط یک آواتار، نمایش داده خواهد شد. برای این منظور، از انتقال کلمات ترجمه‌شده به زبان میانی سیستم نشان‌گذاری هامبورگ (HamNoSys)، تبدیل زبان میانی به زبان نشان‌گذاری حالات اشاره (SiGML) و آن‌گاه به حرکت درآوردن شخصیت انیمیشنی به کمک آن، استفاده می‌شود.
یافته‌ها: برای ارزیابی سیستم مترجم زبان فارسی به زبان اشاره فارسی، از یک مجموعه جمله تست استفاده شده است. پس از بررسی‌های صورت گرفته مشخص شد سیستم پیشنهادی کارایی، فضای ذخیره‌سازی و سرعت قابل قبولی دارد.    
نتیجه‌گیری: تحقیقات در زمینه‌ علوم بین رشته‌ای زمانی بسیار کارآمد و مؤثر است که تحقیقات در تمام علوم درگیر، به میزان برابر انجام شده و هریک چالش‌های مربوط به رشته خود را برطرف سازند. به‌عنوان نمونه، مهم‌ترین چالش در تکمیل سیستم مترجم زبان اشاره فارسی، عدم وجود پژوهش زبان شناختی در خصوص زبان اشاره فارسی می‌باشد. سیستم مترجم ارائه شده، ترکیبی از علوم زبان‌شناسی، علوم اجتماعی و علوم مهندسی است. تمرکز بر روی هریک از این بخش‌ها و ارتقای آن‌ها، باعث پیشرفت چشمگیر در سیستم ارائه شده می‌شود. با این وجود، سیستم ارائه‌شده، می‌تواند تا حد زیادی روابط میان افراد شنوا و ناشنوا را بهبود بخشد. می‌توان روی هریک از ماژول‌های معماری پیشنهادی تمرکز کرد و به ارتقا و بهبود هرکدام پرداخت. همچنین می‌توان به یکپارچه‌سازی واحد اح
کلیدواژه‌ها
ناشنوایان؛ زبان اشاره فارسی؛ پردازش زبان طبیعی؛ ترجمه ماشینی؛ انیمیشن
موضوعات
ترجمه ماشینی
عنوان مقاله [English]
Designing an Avatar-based Translator System from Persian into Persian Sign Language (PSL)
نویسندگان [English]
M. Shamsi؛ M. Divani؛ A. Rasouli Kenari
Department of Computer Science and Engineering, Faculty of Electrical and Computer Engineering, Qom University of Technology, Qom, Iran
چکیده [English]
Background and Objectives: Sign Language is a visual language that uses hand shapes, facial expression gestures, and body language for communication. Linguistic studies have shown that Sign Languages, like spoken languages, are natural and meet the communication needs of their speakers. Sign Language is not a single language that can be universal, nor every country has a Sign Language equivalent to its own spoken language. There are many Sign Languages ​​in the world including the American, English, Japanese, Italian, Turkish, and Persian Sign Language. The Persian Sign Language is the natural language of the deaf in Iran. The ability to communicate effectively is an important step in establishing relationships and participation for the deaf in the community. Lack of support from the hearing community leads deaf people to isolation and other social problems. In order to overcome the obstacles that exist between hearing and hearing impaired people, a translator system is needed to translate messages into the Sign Language in accordance with their spoken language. A Sign Language translation system can be used by the deaf, the family and friends of such people, the blind-deaf people, the people who have lost their ability to speak due to some factors, the professors and teachers, the medical staff and also people who are interested in learning this language. This article, by providing an automatic translator system for translating from the Persian Language into the Persian Sign Language, aims to help the deaf in Iran to communicate better.
Methods: The proposed translator system requires the use of an architecture in order to convert the Persian text into the Persian Sign Language. Due to the nature of the Persian language as the input language of the translator system and also the problems inherent in the Persian Sign Language as the output language of the translator system, the architecture of the translation systems presented in other languages ​​cannot be presented and developed regarding the Persian language. One of the most important issues in the Persian Sign Language is lack of equivalent signs for some words in the Persian language. In order to overcome these problems, an architecture appropriate to the Persian language and the Persian Sign Language was presented. By using the proposed architecture, the proposed system, receives the Persian text as an input in the form of word or sentence from the user, and after performing the initial processing and by using the lexical transfer module, the system translates the text into the Persian Sign Language. Finally, by using an avatar, the Sign Language form corresponding the input of a word, phrase, or sentence can be represented. For this purpose, transfering the translated words into HamNoSys notation, turning the HamNoSys notation to SiGML language and then animating the 3D character with the help of this language are used.
Findings: To evaluate the translation system of the Persian language to the Persian Sign Language, a set of test sentences were used. After evaluating the system, it was found that the proposed system has acceptable efficiency, storage space and speed.
Conclusion: Research in interdisciplinary sciences is only effective and influential when research in all of the sciences involved is done equally and each science solves the challenges of its own field of study. For example, the most important challenge in completing the Persian Sign Language translation system is lack of linguistic research on Persian Sign Language. The proposed translation system is a combination of linguistic, social, and engineering sciences. Focusing on each of these areas and upgrading them will considerably improve the proposed system. However, the proposed system can improve the relationship between the hearing and the hearing impaired people to a great extent. One can focus on any of the proposed architecture modules and upgrade and improve each of them. It is also possible to integrate the section of emotions and facial expressions with the animated character so that the facial expressions of this avatar can change according to the conditions. 
کلیدواژه‌ها [English]
Deaf, Persian Sign Language, Natural Language Processing, Machine Translation, Animation
مراجع

[1]Nematollahi A. Methods of machine translation in Arabic. 2017; Persian.

[2] Pakzad M. In the World of Silence. Tehran: Ministry of Culture and Islamic Guidance, Printing and Publishing Organization; 1996. Persian.

[3] Movallali G. My child has hearing impairment. Tehran: University of Social Welfare & Rehabilitation Sciences Publication; 2011.Persian.

[4] Bahadori A, Pirouzi M, Tehrani Zadeh H, Ghasemi Shad A, Loh Mousavi M, Mahmoudi R. Set of Deaf's Signs. Tehran: State Welfare Organization of Iran; 1996. Persian.

[5] Sharifi Daramadi P, Ronaghi S, Safar Yazdi Z. [Translation of Fundamentals of Special Education: What Every Teacher Needs to Know]. Werts M, Culatta R, Tompkins J (Author). Tehran: Danzheh Publications; 2011; Persian.

[6] Siyavoshi S. Take a look at the construction of signs and their generalization in Persian Sign Language [master’s thesis]. Tehran: Allameh Tabatabai; 2005. Persian.

[7] Siyavoshi S. Persian Sign Language and the Need to Reconsider the Education and Evaluation of Iran's Deaf. 1st Linguistics Society of Iran.2005; Tehran, Iran. Persian.

[8] Nouri N. Implementation of Semantic Role Labeling Tool With using a Persian FrameNet [master's thesis]. MAshahd: Ferdowsi University of Mashhad; 2014. Persian.

[9] Van Zijl L, Barker D, editors. South African sign language machine translation system. Proceedings of the 2nd  International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction; 2003: Africa.

[10] Van Zijl L, Combrink A, editors. The South African sign language machine translation project: Issues on non-manual sign generation. Proceedings of the 2006 annual research conference of the South African institute of computer scientists and information technologists on IT research in developing countries; 2006.

[11] Mohandes M. Automatic translation of Arabic text to Arabic sign language. AIML Journal. 2006;6(4):15-19.

[12] Dasgupta T, Basu A. An English to Indian Sign Language Machine Translation System. India: The Department of Computer Science and Engineering, Indian Institute of Technology; 2008: Kharagpur 721302.

[13] Sarkar B, Datta K, Datta CD, Sarkar D, Dutta SJ, Roy ID, et al. A translator for bangla text to sign language. Paper presented in the 2009 Annual IEEE India Conference: 2009: Gujarat, India: IEEE.

[14] Baldassarri S, Cerezo E, Royo-Santas F. Automatic translation system to Spanish Sign Language with a virtual interpreter. Paper presented in the IFIP Conference on Human-Computer Interaction: 2009: Springer.

[15] Almasoud AM, Al-Khalifa HS. A proposed semantic machine translation system for translating Arabic text to Arabic sign language. Proceedings of the Second Kuwait Conference on e-Services and e-Systems; 2011.

[16] Halawani SM. Arabic sign language translation system on mobile devices. IJCSNS International Journal of Computer Science and Network Security. 2008;8(1):251-6.

[17] Halawani S, Zaitun A. An avatar based translation system from Arabic speech to Arabic sign language for deaf people. International Journal of Information Science and Education. 2012;2(1):13-20.

[18] Grif MG, Korolkova OO, Demyanenko YA, Tsoy YB. Development of computer sign language translation technology for deaf people. Proceedings of 2011 6th International Forum on Strategic Technology: 2011: Harbin, Heilongjiang, Harbin. IEEE.

[19] Grif MG, Korolkova OO, Demyanenko YA, Tsoy EB. Computer sign language translation system for hearing impaired users. Paper presented in the 2012 7th International Forum on Strategic Technology (IFOST): 2012: Tomsk, Russia:IEEE.

[20] Joy J, Balakrishnan K. A prototype Malayalam to Sign Language Automatic Translator. 2014.

[21] Almeida IR. Exploring challenges in avatar-based translation from european portuguese to portuguese sign language [master’s thesis]. Lisbon: Instituto Superior Técnico, Universidade de Lisboa; 2014.

[22] Almeida IR. Exploring challenges in avatar-based translation from european portuguese to portuguese sign language.  2014; 1-10.

[23] Almeida I, Coheur L, Candeias S. Coupling natural language processing and animation synthesis in portuguese sign language translation. Proceedings of the Fourth Workshop on Vision and Language: 2015.

[24] Kaur K, Kumar P. HamNoSys to SiGML conversion system for sign language automation. Procedia Computer Science. 2016;89: 794-803 .

[25] Smith R. HamNoSys 4.0 User Guide; 2013. [Accessed April 2020].

[26] Contributors W. Wikipedia, The Free Encyclopedia; 2020 [updated 4 April 2020 12:30 UTC. .

[27] Marshall I, Sáfár É. A prototype text to British Sign Language (BSL) translation system. The Companion Volume to the Proceedings of 41st Annual Meeting of the Association for Computational Linguistics; 2003.

[28] Almohimeed A, Wald M, Damper RI. Proceedings of the Second Workshop on Speech and Language Processing for Assistive Technologies; 2011: Association for Computational Linguistics.

[29] Hoque MT. Rifat-Ut-Tauwab M, Kabir MF, Sarker F, Huda MN, Abdullah-Al-Mamun K. Automated Bangla sign language translation system: Prospects, limitations and applications. Paper presented in the 2016 5th International Conference on Informatics, Electronics and Vision (ICIEV); 2016: IEEE.

[30] Luqman H, Mahmoud SA. Automatic translation of Arabic text-to-Arabic sign language. Universal Access in the Information Society. 2019; 18: 939-951.

 

آمار
تعداد مشاهده مقاله: 1,822
تعداد دریافت فایل اصل مقاله: 639


سامانه مدیریت نشریات علمی. طراحی و پیاده سازی از سیناوب