دسته بندی صفحات وب برای پالایش

مسئل? حفاظت از اقشار آسیب پذیر جامعه در مقابل موارد ناهنجار در صفحات وب، موجب احساس نیاز به پالایش صفحات وب شده است. یکی از جنبه های پالایش صفحات وب که امروزه بیش از پیش مورد توجه قرار گرفته است، طبقه بندی صفحات بر اساس میزان خشونت آمیز بودن آن ها است. طبقه بندی در واقع نسبت دادن یک صفحه به یک یا چند موضوع از پیش تعیین شده با استفاده از الگوهای آموزش داده شده می باشد. سیستم با استفاده از یک سری صفحات آموزشی که موضوع آن ها از قبل تعیین شده است، آموزش داده می شود تا بتواند اسناد جدید را به صورت صحیح طبقه بندی نماید. روش های مختلفی برای این کار وجود دارد که اغلب روش های آماری یا هوش مصنوعی می باشند. در این پایان نامه رویکرد همنشینی کلمات برای طبقه بندی صفحات وب فارسی پیشنهاد شده است. در واقع با استخراج میزان همنشینی کلمات خشونت آمیز با هم و با کلمات تعدیل کنند? خشونت ، متون فارسی به دو دسته خشونت آمیز و غیرخشونت آمیز طبقه بندی می شوند. به دلیل عدم وجود مجموع? داده استاندارد، صفحات وب به صورت دستی جمع آوری شده است. در روش ارائه شده، در فاز آموزش از 70 داد? آموزشی برچسب دار استفاده شده است. در این فاز با استفاده از داده ها، میزان همنشینی کلمات خشونت آمیز با هم و با کلمات تعدیل کنند? خشونت محاسبه شده و ماشین آماد? طبقه بندی صفحات جدید می شود. برای سنجش کیفیت کار نیز از 120 صفح? وب استفاده شده است و در نهایت الگوریتم طبقه بندی کننده توانسته است به دقت 175/97% دست پیدا کند.