یافتن اقلام تکراری در جریان های داده ای

. برخلاف پایگاه داده ایستا، جریان کاوی با مسائل زیادی مواجه است. ویژگی تک مروره، نیاز به حافظه نامحدود و نرخ بالای ورود داده ها از جمله این مسائل هستند. شناسایی و بررسی تکنیک های موجود به همراه ساختارهای داده ای به کار رفته در آنها برای طراحی و توسعه یک روش کارآمد که قادر به پردازش جریان های داده ای سریع باشد، ضروری است. الگوریتم های موجود بر اساس مدل پردازش داده ای به سه دسته پنجره های نشانه، پنجره های کشویی و مدل کاهشی تقسیم می شوند. این تکنیک ها بر اساس نتایج خروجی به روش های تقریبی و دقیق دسته بندی می شود. بهترین الگوریتم ارائه شده در این زمینه الگوریتم اف.آی.دی.اس است. ما روش جدیدی بر اساس آن به نام اس.اف.آی.دی.اس برای یافتن اقلام و مجموعه اقلام تکرار شونده در جریان های داده ای پیشنهاد داده ایم. در الگوریتم پیشنهادی از یک ساختار داده ای متفاوت با روش قبلی استفاده شده است. در روش قبلی از ساختار داده ای گراف برای نگهداری مجموعه اقلام تکرار شونده استفاده شده بود که دارای فضای جستجوی بزرگی است ولی در روش جدید ساختار داده ای درخت به کار رفته که دارای فضای جستجوی کمتری است که باعث کاهش زمان اجرا و میزان حافظه می شود، علاوه بر این در روش پیشنهادی محدودیت پردازنده درنظر گرفته شده است، با افزایش نرخ ورود داده که منجر به افزایش بار سیستم می شود الگوریتم به طور خودکار این وضعیت را کشف و مقداری از بار اضافی را حذف می کند. با استفاده از یک تکنیک آماری تضمین می شود که میزان خطای نتایج نهایی محدود به مقدار خطایی است که از قبل توسط کاربر تعیین شده است. در این پایان نامه کارایی الگوریتم جدید به همراه چند الگوریتم دیگر از لحاظ زمان اجرا و میزان حافظه با انجام تعدادی آزمایش مورد بررسی قرار گرفته است. ارزیابی های صورت گرفته نشان دهنده برتری الگوریتم جدید از لحاظ زمان اجرا و حافظه مصرفی است.