Thesis

خوشه بندی اسناد متنی مبتنی بر مفاهیم همسایگی و شباهت معنایی

ملیحه دانش

Abstract(in Persian; no English abstract is available)

خوشه بندی، روش داده کاوی قدرتمندی است که جهت کشف موضوع از اسناد متنی مورد استفاده قرار می-گیرد. در این زمینه الگوریتم های خانواده k-means به دلیل سادگی و سرعت بالا، در خوشه بندی داده هایی با ابعاد بالا، کاربرد فراوانی دارند. در این الگوریتم ها، معیار شباهت cosine، تنها شباهت میان زوج اسناد را اندازه گیری می کند که در مواقعی که خوشه ها به خوبی تفکیک نشده باشند، عملکرد مناسبی ندارد. درمقابل، مفاهیم همسایگی و اتصال با در نظرگرفتن اطلاعات سراسری در محاسبه میزان نزدیکی دو سند، عملکرد بسیار بهتری دارند. چنانچه میزان شباهت دو سند از حد آستانه ای بیشتر باشد آن دو سند همسایه اند و تعداد همسایه های مشترک میان آنها، مقدار تابع اتصال این دو سند را نشان می دهد. بنابراین با توجه به اینکه تنها دو حالت همسایگی و عدم همسایگی داریم که با صفر و یک نمایش داده می شوند، مقداری از اطلاعات را در مورد میزان شباهت میان اسناد از دست می دهیم که منجر به کاهش دقت خوشه بندی حاصل می شود. جهت رفع این مشکل، در گام اول لیستی از مقادیر گسسته را برای تعیین بازه ای از مقادیر آستانه به جای تنها یک مقدار، در نظر گرفتیم که به دنبال آن درجات متفاوتی از همسایگی، بر اساس میزان شباهت میان اسناد خواهیم داشت. همچنین جهت افزایش هر چه بیشتر دقت نتایج حاصل، از منطق فازی نیز بهره برده و مقدار شباهت میان اسناد را با استفاده از مقادیر عضویت فازی نمایش دادیم. به این ترتیب میزان همبستگی میان اسناد را با استفاده از منطق فازی بهبود داده و گام جدیدی در کاربردهای منطق فازی برداشتیم. همچنین در این مدل، روابط معنایی میان کلمات نادیده گرفته شده و تنها اسنادی با واژگان مشابه با یکدیگر مرتبط شده اند. در این پروژه پایانی از آنتولوژی wordnet جهت ایجاد مدل جدید نمایش اسناد بهره بردیم، بدین صورت که در آن از روابط معنایی به منظور وزن گذاری مجدد بسامد کلمات در مدل فضای برداری اسناد استفاده شده است. سپس مفاهیم همسایگی و اتصال را بر روی مدل حاصل اعمال نمودیم. نتایج حاصل از اعمال روش های پیشنهادی و ترکیبات آنها بر روی مجموعه داده های متن واقعی، حاکی از عملکرد موثر و مناسب تر الگوریتم پیشنهادی ما نسبت به روش های پیشین می باشد و می تواند جایگزین خوبی برای الگوریتم های پیشین در امر خوشه بندی اسناد باشد.

Supervisors and advisors

محمود نقیب زاده، احد هراتی

Similar theses

  • خوشه بندی اسناد متنی الکترونیکی بر اساس دانش پس زمینه و وزن دهی ابعاد و مفاهیم

    Thesis2011وزارت علوم، تحقیقات و فناوری - دانشگاه شیخ بهایی - دانشکده مهندسیمحمد زنجانی

    خوشه بندی یا دسته بندی بدون نظارت با سازمان دهی پیکره های بزرگ متنی، نقش کلیدی در پیمایش و مرور آسان انبوهی از متون دارد. نقش این سازمان دهی در موتورهای جستجو برای ارائه خوشه های معنادار مرتبط با پرس و جو، جهت پیشگیری از سردرگمی کاربر در حجم عظیمی از اسناد بازیابی شده بیشتر نمایا

  • خوشه بندی اسناد مبتنی بر آنتولوژی و رویکرد فازی

    Thesis2011وزارت علوم، تحقیقات و فناوری - دانشگاه بوعلی سینا - دانشکده مهندسیمریم امیری

    داده کاوی که به عنوان استخراج دانش از پایگاه داده ها نیز شناخته می شود، روالی برای استخراج دانش ناشناخته از مقدار زیادی داده است. کاوش اسناد بر اساس روش های داده کاوی به استخراج اطلاعات و دانش از اسناد می پردازد. خوشه بندی اسناد یکی از مهمترین روش های کاوش اسناد است که دسته بندی

  • ارتقاء کیفیت سیستم های بازیابی اطلاعات متنی با استفاده از الگوریتم های خوشه بندی اسناد

    Thesis2011وزارت علوم، تحقیقات و فناوری - دانشگاه شاهد - دانشکده فنی و مهندسیمحسن خزایی

    سیستم های بازیابی اطلاعات، با استفاده از یک استراتژی بازیابی خودکار تلاش می کنند اسناد مرتبط بیشتری را برای کاربر نمایان ساخته به نحوی که تا حد ممکن هیچ سند غیر مرتبطی بازیابی نگردد. در شاخه بازیابی اطلاعات، ارزیابی سیستم بازیابی اطلاعات نقشی اساسی ایفا می کند. در این خصوص، ارزیا

  • تشخیص برون افتادگی فضایی مبتنی بر شباهت معنایی همسایگی ها

    Thesis2011وزارت علوم، تحقیقات و فناوری - دانشگاه اصفهان - دانشکده مهندسیفاطمه اعظم

    با توجه به اینکه انتظار می رود داده هایی که از لحاظ موقیت مکانی به هم نزدیک هستند رفتار مشابهی نیز داشته باشند، لذا عموما برون افتادگی فضایی به صورت محلی و در همسایگی های نزدیک بررسی می شود. در بسیاری از پدیده ها رفتار اشیاء فضایی تحت تاثیر فرآیند ها و اشیاء پیرامون است. بنابراین

Similar items

  • خوشه بندی اسناد مبتنی بر آنتولوژی و رویکرد فازی

    Articleفناوری اطلاعات و ارتباطات ایرانایمان آریانیان

    داده کاوی که به عنوان استخراج دانش از پایگاه داده ها نیز شناخته می شود، روالی برای استخراج دانش ناشناخته از داده است. کاوش اسناد بر اساس روش های داده کاوی به استخراج اطلاعات و دانش از اسناد می پردازد. خوشه بندی اسناد یکی از مهمترین روش های کاوش اسناد است که دسته بندی بدون سرپرست

  • اثربخشی بسط پرس وجو مبتنی بر خوشه بندی اسناد شبه بازخورد با الگوریتم k-nn

    Articleمهندسی برق دانشگاه تبریزرضا خدایی, دانشگاه تبریز - دانشکده مهندسی برق و کامپیوتر محمدعلی بالافر, دانشگاه تبریز - دانشکده مهندسی برق و کامپیوتر سیدناصر رضوی, دانشگاه تبریز - دانشکده مهندسی برق و کامپیوتر

    بسط پرس وجو یکی از روش های مؤثر در بهبود اثربخشی نتایج بازیابی اطلاعات است. روش بازخورد شبه مرتبط (prf) فرض می کند که اسناد رتبه بالا از نتایج اولیه بازیابی شده مرتبط به پرس وجو است و تعدادی کلمه مرتبط را از اسناد رتبه بالا برای بسط انتخاب می کند. وجود اسناد نامرتبط در بین اسناد

  • بسط پرس وجو با خوشه بندی اسناد شبه بازخورد با شباهت حساس به پرس وجو

    Article2017مدلسازی در مهندسیرضا خدائی، سیدناصر رضوی، محمدعلی بالافر

    بسط پرس‌وجو به‌عنوان یکی از روش‌های انطباق پرس‌وجو، اثربخشی جستجو را در بازیابی اطلاعات افزایش می‌دهد. بازخورد شبه مرتبط (PRF) روشی برای بسط پرس‌وجو است که فرض می‌کند اسناد رتبه بالا از نتایج اولیه مرتبط به موضوع پرس‌وجو هستند و کلمات بسط را از این اسناد انتخاب می‌کند. درحالی‌که

  • خوشه بندی فراابتکاری اسناد فارسی اِکس اِم اِل مبتنی بر شباهت ساختاری و محتوایی

    Articleپردازش علائم و داده هاعلی مرادی، ali moradi department of computer engineering, faculty of engineering, university of guilan, rasht, iranرشت، کیلومتر 5 جاده تهران، پردیس دانشگاه گیلان، دانشکده فنی، گروه مهندسی کامپیوتر اسدالله شاه بهرامی، asadollah shahbahrami department of computer engineering, faculty of engineering, university of guilan, rasht, iranرشت، کیلومتر 5 جاده تهران، پردیس دانشگاه گیلان، دانشکده فنی، گروه مهندسی کامپیوتر رضا ابراهیمی آتانی، reza ebrahimi atani department of computer engineering, faculty of engineering, university of guilan, rasht, iranرشت، کیلومتر 5 جاده تهران، پردیس دانشگاه گیلان، دانشکده فنی، گروه مهندسی کامپیوتر مهران علیدوست نیا

    با توجه به رشد فزاینده ی تعداد اسناد xml، سازماندهی موثر این اسناد به منظور بازیابی اطلاعات مفید از آنها ضروری می باشد. یک راه حل امکان پذیر، انجام خوشه بندی بر روی اسناد xml به منظور کشف دانش است. مسئله کلیدی در خوشه بندی اسناد xml این است که چگونه می توان شباهت بین اسناد xml را

  • طبقه بندی معنایی تصاویر متنی مبتنی بر الگوی ارزشمندی متن

    Article2011روش های هوشمند در صنعت برقحسین پورقاسم، محمد صادق هل فروش، سبلان دانشور

    استخراج اطلاعات از تصاویر متنی شناسایی شده از مجرای اینترنت یکی از مهمترین معضلات سیستم های جمع آوری اطلاعاتی در حوزه تکنولوژی اطلاعات می باشد. این مسأله وقتی حادتر می گردد که بدانیم در بین انبوه تصاویر متنی تنها درصد ناچیزی از تصاویر متنی شناسایی شده، دارای ارزش اطلاعاتی می باشن

  • حاشیه نویسی خودکار تصاویر مبتنی بر خوشه بندی دو سطحی بصری و معنایی

    Article2015مجله ماشین بینایی و پردازش تصویرسمانه بهرامی، محمد صنیعی آباده

    حاشیه نویسی خودکار تصاویر به ایجاد خودکار برچسب های متنی مطابق با محتوای بصری تصاویر دلالت دارد. اگرچه در دهه گذشته تحقیقات فراوانی در این زمینه انجام گرفته است اما وجود برچسب های متعدد و وجود شکاف معنایی میان این برچسب ها و ویژگی های سطح پایین بصری باعث کاهش دقت و کارایی این سام