طراحی و پیاده سازی خزنده وب برای صنعت آب و فاضلاب با استفاده از تکنولوژی انتقال موازی

هدف از این تحقیق ارائه مدلی از خزنده وب در صنعت آب و فاضلاب می باشد که با استفاده از انتقال موازی به صورت سریعتر و کارامدتر، عمل می کند. خزنده وب یک ماژول از موتورهای جستجو است که واکشی داده ها از سرویس دهنده های مختلف را انجام می دهد. خزنده وب یک جزء ضروری برای موتورهای جستجومی باشد و عملیات خزنده وب، یک کار چالش برانگیز در عملیات موتورهای جستجو می باشد. این فرایندی زمانبر برای جمع آوری اطلاعات از منابع مختلف در سراسر جهان است.چنین پروسه ای به صورت منفرد با محدودیت در قدرت پردازش بر روی یک ماشین و اتصال به شبکه مواجه می باشد. این ماژول به توان پردازشی بالا و مصرف پهنای باند شبکه نیازمند است.هدف از این پایان نامه، طراحی و اجرای چنین خزنده منتقل شونده موازی است که در آن کار خزیدن، در بین تعدادی از خزنده های مستقل و موازی تقسیم شده است که قابلیت مهاجرت به ماشین های مختلف، به منظور بهبود افزایش بهره وری شبکه و بالا بردن سرعت دانلود را دارند.