شناسایی روبات های مخرب وب بر پایه روش های یادگیری ماشین

در سال های اخیر انواع مختلفی از روبات های وب طراحی شده اند تا به طور خودکار، فعالیت های متنوعی برای کاربران وب انجام دهند. این روبات ها هم زمان با کاربران انسانی به اطلاعات سایت ها دسترسی پیدا می کنند. دسته بندی کاربران و جداسازی انسان ها از روبات ها مسئله ای مهم برای سرورهای ارائه دهنده ی خدمات محسوب می شود. چرا که گاهی خدمت دهی به روبات ها مانع از ارائه ی خدمات کافی برای کاربر انسانی می شود. از طرفی روبات ها خودشان به دسته های خوش رفتار و مخرب تقسیم بندی می شوند و نباید از دسترسی همه ی آن ها جلوگیری به عمل آورد. از جمله روبات های وب خوش رفتار می توان روبات های جست وجوگر وب را نام برد که برای جست وجوگرها اطلاعات جمع آوری کرده و در پایگاه داده ی آن ها ذخیره می کنند و از جمله روبات های وب مخرب روبات های هکر هستند که به دنبال کشف راه های نفوذ و حمله به وب سایت ها و سرور های آن ها می گردند. در این پایان نامه، ما با استفاده از تکنیک های یادگیری ماشین به تفکیک روبات های مخرب از کاربران خوش رفتار پرداخته ایم. ازجمله مهم ترین روبات های مخربی که برای تشخیص آن ها تلاش کرده ایم،spambot ها، روبات های شرکت کننده در حمله ی منع سرویس و روبات های هکر هستند. به این منظور ما یک روش برچسب گذاری برای افزایش دقت برچسب گذاری کاربران وب پیشنهاد داده ایم و ضمن دسته بندی ویژگی ها، 11 ویژگی جدید ارائه کردیم که اکثر آن ها به منظور تمایز قائل شدن هر چه بیشتر میان رفتار های مخرب و قانونی طراحی شده اند. ما با انجام دو آزمایش جداگانه بر روی فایل های ثبت وقایع سرور دو وب سایت متفاوت به این نتیجه رسیدیم که می توان با افزودن ویژگی های جدید به ویژگی های گذشته، به کارایی بیشتری در تشخیص روبات های مخرب وب دست یافت. در آزمایش اول c4.5 به میزان صحت بالای %96 و در آزمایش دوم به میزان صحت بالای%99 دست پیدا کرد که بیشترین میزان صحت در تشخیص روبات های مخرب بوده است. همچنین ما با رتبه بندی تمامی ویژگی ها نشان دادیم که ویژگی های پیشنهادی در جایگاه خوبی نسبت به ویژگی های گذشته قرار دارند.