بهبود کارایی کلاستر با جایگذاری داده های عظیم بر اساس شباهت داده ها

در این پژوهش با استفاده از تکنیک ضرب داخلی و تعریف جدیدی از بار کاری به صورت هایپرگراف، روشی برای افزایش سرعت پردازش و به تبع آن بهبود کارایی سیستم پردازشی هادوپ ارائه دهیم. با اضافه کردن الگوریتم سریع تقسیم بندی هایپرگراف و در نظر گرفتن توازن بار و تکنیک جایگذاری داده به صورت غیرتصادفی، داده های مشابه به صورت خودکار در فایل سیستم توزیع شده در کنار هم جایگذاری می شوند. به علاوه برای کم کردن سربار در تعداد فایل های بالا، داده ها ابتدا به دسته های کوچکتر تقسیم و سپس به هایپرگراف تبدیل می شوند. با ارزیابی سیستم پیشنهادی بر روی کلاستر ec2 آمازون نشان می دهیم، مشابهت داده ها سبب کاهش تعداد عملیات پردازشی در سطح کلاستر و شبکه شده و در نتیجه سرعت پردازش، با احتساب سربار حدود 5 درصد و بدون احتساب آن تقریبا 14 درصد افزایش پیدا می کند. این روش برای برنامه های مربوط به پردازش لاگ، کاربردی و پیاده سازی شده است.