تشخیص احساس انسان مبتنی بر همجوشی ویژگی های گفتار و حرکات چهره

در سالهای اخیر بازشناسی احساس به عنوان روش جدیدی برای تعامل انسان با کامپیوتر مورد توجه و موضوع تحقیقات زیادی بوده است. احساس، در قالب حرکات چهره، لحن و متن گفتار، حرکات دست و بدن و علایم زیستی مانند ضربان قلب بروز می یابد. تحقیقات موجود در حیطه بازشناسی احساس را می توان به سه گروه عمده تقسیم کرد. گروه اول، یکی از منابع مانند گفتار یا حرکات چهره را برای بازشناسی احساس استفاده می کنند. گروه دوم، نتیجه بازشناسی احساس با چندین منبع را در سطح تصمیم با هم ترکیب می کنند. گروه سوم ویژگی های استخراج شده از منابع مختلف را برای تولید ویژگی های مختلط با هم ادغام می کنند و با استفاده از ویژگی های جدید احساس را باز می شناسند. ترکیب سطح تصمیم، ارتباط بین ویژگی ها منابع مختلف را در نظر نمی گیرد. مثلا خشم و ترس علایم مشابهی در چهره دارند اما ویژگی های گفتاری آنها متفاوت است. انتظار ما این است که طبقه بندی که بر اساس ویژگی های گفتاری و چهره ای کار می کند؛ بتواند به شکل بهتری این دو احساس را از هم متمایز کند. از سویی دیگر، بررسی های روانشناسی نشان داده اند که علایم احساس در گفتار و چهره به صورت کاملا همزمان ظاهر نمی شوند. مثلا گره کردن ابروها هنگام وقوع احساس خشم، ممکن است اندکی قبل یا بعد از بالا رفتن تن صدا مشاهده شود. این ناهمزمانی، ترکیب و ادغام ویژگی ها را دچار مشکل می کند. مدل پیشنهادی در این رساله همجوشی اطلاعات گفتار و حالات چهره را در دو سطح ویژگی و تصمیم در نظر می گیرد. در این مدل، ویژگی های صوتی و تصویری در قالب سریهای زمانی استخراج می شوند. به منظور همزمان سازی آنها، بافرهای فعالی برای نگهداری مقادیر ویژگی ها و همجوشی زمانی آنها استفاده می شود. در زمان هایی که مقادیر ویژگی مورد نظر وجود داشته باشند؛ بافر با این مقادیر به روز می شود. در لحظات بعد اگر تا مدت معینی مقدار ویژگی موجود نباشد؛ مقدار موجود در بافرها به عنوان مقدار فعلی ویژگی گزارش می شود. پس از انقضای این مدت، مقادیر بافرها با مقادیر پیش فرض خاصی جایگزین می شوند. با استفاده از این بافرها، ویژگی های مختلف صوتی و تصویری همپوشانی زمانی مناسبی با هم پیدا می کنند. برای طبقه بندی احساس بروز یافته، سه نوع طبقه بند مبتنی بر ویژگی های گفتار، ویژگی های چهره و ویژگی های ادغام شده آنها یادگیری می شوند. سطح دوم همجوشی اطلاعات در مدل پیشنهادی، نتایج این طبقه بندها و همچنین نتیجه نهایی لحظه قبل را به صورت خطی با هم ترکیب می کند. مدل پیشنهادی با استفاده از دو پایگاه داده صوتی تصویری احساس enterface05 ( زبان انگلیسی، 42 نفر) و tmu-emodb (زبان فارسی، 12 نفر) آزمایش شده است. نتایج این آزمایش ها نشان دهنده این است که دقت بازشناسی احساس با ادغام ویژگی های ناهمزمان و ترکیب طبقه بندهای مبتنی بر ویژگی های ناهمزمان مشابه هم بوده و در حدود 40% برای پایگاه اول و 65% برای پایگاه دوم می باشند. در حالی که پس از همزمان سازی و ادغام ویژگی ها، میانگین دقت به 70% و 75% به ترتیب بر روی این دو پایگاه بدست آمده است. همچنین نتایج بدست آمده نشان میدهند که دقت بازشناسی با استفاده از ترکیب سه نوع طبقه بند فوق، برای پایگاه اول با دقت بدست آمده از طبقه بند مبتنی بر ویژگی های همزمان شده، تفاوت چندانی ندارد اما برای پایگاه دوم، این تفاوت از نظر آماری معنی دار است. نتایج فوق بیانگر افزایش دقت بازشناسی احساس با بکار بردن بافرهای همزمان سازی و ترکیب سه نوع طبقه بند فوق می باشند.