نام پژوهشگر: علاء برقوقی

شناسایی ژست دست مبتنی بر باریک سازی: اعداد و علائم
پایان نامه وزارت علوم، تحقیقات و فناوری - دانشگاه تربیت مدرس - دانشکده مهندسی برق و کامپیوتر 1390
  علاء برقوقی   نصراله مقدم چرکری

توانایی کامپیوتر در شناخت ژست های متحرک و تحلیل چگونگی حرکت آن ها در محیط های مختلف، کاربردهای فراوانی در امور نظارتی، کنترلی، ورزشی و اجتماعی و... به وجود آورده است. امروزه با ارتقاء توان رایانه ها، امکان استفاده از آنها جهت شناسایی موضوعات پیچیده ای چون ژست های مختلف فراهم شده است. در این پژوهش به بررسی فرآیند شناسایی ژست دست (اعداد و علائم) مبتنی بر باریک سازی پرداخته ایم. تمرکز اصلی این پژوهش بر بخش های قطعه بندی و شناسایی اعداد و علایم ثابت و متحرک زبان اشاره فارسی بوده است هرچند بخش های تشخیص قاب های کلیدی در شناسایی اعداد مبتنی بر ویدیو و به کارگیری روش های مختلف مورفولوژی نیز مورد توجه قرار گرفته اند. در بخش قطعه-بندی، از روش مبتنی بر رنگ دست و ترکیب دو فضای رنگی (rgb و ycrcb) استفاده کرده ایم. برای استخراج قاب های کلیدی، روش بهینه سازی شده تفاضل قاب ها به کار برده ایم. در بخش شناسایی و استخراج ویژگی از متد باریک سازی و استخراج نقاط انتهایی در ناحیه دست استفاده کرده ایم. در بخش شناسایی ، هدف ایجاد یک مترجم یا به عبارت دیگر یک واسط بین افراد سالم از یک طرف و افراد ناشنوا از طرف دیگر است. به علاوه با یک دید کنترلی که مربوط به شناسایی بعضی علائم (حرکت به راست، به چپ، ایست/حرکت، و ...) است نیز به مسئله نگاه کرده ایم. به طور کلی مزیت روش شناسایی پیشنهادی نسبت به روش های مشابه در مقاومت مناسب روش در برابر چرخش و مقیاس است. تحقیق در حوزه اعداد و علایم زبان اشاره فارسی، و همچنین ایده استفاده از متد باریک سازی برای شناسایی ژست های دست متحرک، مهم ترین نوآوری های روش پیشنهادی بوده اند. با توجه به اینکه قبلا کار مشخصی در جهت شناسایی اعداد زبان فارسی گزارش نشده است و همچنین داده های رقمی برای استفاده وجود نداشت، آزمایشات این پژوهش بر روی داده های جمع آوری شده مشتمل بر ژست های اعداد ثابت، علایم کنترلی و اعداد و ژست های متحرک انجام گرفته است. نتایج نشان می دهد که میانگین دقت تشخیص اعداد و علایم کنترلی ثابت 97.13% بوده، در حالی که میانگین تشیخص اعداد و ژست های متحرک 96% بوده است.