تشخیص زبان اشاره بر اساس مشاهده

تشخیص زبان اشاره برای برقراری ارتباط میان افراد ناشنوا و نیمه شنوا با جامعه و یا کامپیوتر در رنج وسیعی کاربرد دارد [1] و انجام این کار به کمک پردازش تصویر در سال های اخیر بخاطر اهمیت آن مورد توجه محققین قرار گرفته است. در این تحقیق می خواهیم با استفاده از پردازش تصاویر دو بعدی اشاره ها و علایم دست ها را بدون استفاده از تجهیزات ویژه تشخیص دهیم. یکی از بهترین روش ها برای شناسایی علائم و اشارات، مقایسه مسیر حرکت دست و مدل سازی شکل دست و نحوه قرارگیری انگشتان در آن می باشد. در این پروژه به معرفی و بررسی تئوری بیشترین راستای لبه (med) پرداخته و نشان داده می-شود med یک ویژگی هندسی است که به ساختار دست بستگی دارد. ویژگی med به صورت آماری بیانگر بیشترین راستای لبه های تصویر است که با دقت خوبی نشان دهنده راستای قرار گرفتن انگشتان در هر اشاره می باشد. برای استخراج این ویژگی ابتدا تصویر باینری لبه از تصویر دست گرفته شده و سپس از المان ساختاری پیشنهادی مناسب که تنها روی پیکسل های لبه عمل می کند استفاده می شود. برای مدل سازی بهتر شکل دست از ویژگی lmed استفاده می شود. به این ترتیب تصویر مورد نظر به نواحی کوچکتر با اندازه معین افراز و در هر ناحیه ویژگی med محاسبه می گردد. همچنین استفاده از این ویژگی حجم پایگاه داده مورد نیاز را به شدت کاهش داده و موجب افزایش سرعت تشخیص می شود. الگوریتم پیشنهادی برای تشخیص زبان اشاره شامل دو مرحله می باشد: 1- کلاسه بندی اولیه 2- کلاسه بندی نهایی. در مرحله اول ابتدا ویژگی های مسیر حرکت دست، منحنی زاویه ی وتر دست و منحنی مساحت تصویر دست استخراج شده و سپس با کمک الگوریتم dtw و کلاسه بندی نزدیک ترین همسایگی، بیشتر کلاس های نا مطلوب حذف می شود. در نهایت سه کلاس باقی می ماند به طوری که احتمال حضور کلاس درست در این سه کلاس صد در صد می باشد (دقت صد در صد با رنک سه). در نتیجه دقت و سرعت تشخیص در زبان اشارات بهبود داده می شود. در مرحله دوم ابتدا با استفاده از الگوریتم dtw که تابع آن منحنی مسیر حرکت دست می باشد فریم های متناظر با هم انتخاب و سپس با کمک دو ویژگی lmed و مسیر حرکت دست، فاصله اشاره ورودی از سه کلاس تعیین شده در مرحله اول محاسبه می شود. در این پروژه سه روش برای کلاسه بندی زبان اشاره پیشنهاد شده است: 1- روش مینیمم فاصله با استفاده از ویژگی lmed 2- روش مینیمم میانگین هندسی 3- روش مینیمم فاصله اقلیدسی به صورت تطبیقی. کلاسه بندی های پیشنهادی روی مجموعه ای از اشارات asl صورت گرفت که شامل 47 کلمه متفاوت با 137 نمونه می باشد. در این آزمایش میزان دقت به مقدار 97.7% رسیده که در بهترین حالت برای اشارات با یک دست 98.9% و برای اشارات با هر دو دست 95.6% بوده است. نتایج بدست آمده کارایی بالای روش های پیشنهادی را نشان می دهد.