الگوریتم نزدیکترین همسایه یکی از قدیمی ترین و ساده ترین روشهای غیر پارامتریک و پویای دسته بندی است. این الگوریتم می تواند با مجموعه کوچکی از نمونه های آموزشی یادگیری داشته باشد و داده های آموزشی خود را هر زمان که در دسترس باشند افزایش دهد. علی رغم مزایای الگوریتم نزدیکترین همسایه از قبیل سرعت بالا در زمان یادگیری و توانایی نمایش پیچیده ترین مرزهای تصمیم گیری، این روش دارای مشکلاتی مانند وابستگی کارآیی به معیار فاصله، نمونه های آموزشی نویزی و خصیصه های مورد استفاده می باشد. همچنین این الگوریتم از همه نمونه های آموزشی در زمان تصمیم گیری استفاده می کند که نتیجه آن، سرعت پایین دسته بندی و نیازمندی به حافظه زیاد است. این مشکل درمورد مجموعه داده های بزرگتر، ملموس تر است. در این رساله الگوریتمی معرفی شده است که به طور همزمان به دنبال یافتن یک مجموعه کاهش یافته از نمونه ها و تطبیق معیار فاصله با مسئله مورد حل، از طریق انتساب وزن به نمونه های منتخب می باشد. برای انتخاب نمونه ها یک الگوریتم خوشه بندی با ناظر و برای تطبیق معیار فاصله، الگوریتم یادگیری پیشنهاد شده است که سعی میکند با تنظیم وزن نمونه های منتخب، نرخ دسته بندی کنار گذاری تک به تک را ماکزیمم سازد. وزن یک نمونه برای محاسبه فاصله (و یا شباهت )آن نمونه آموزشی با نمونه مورد پرسش مورد استفاده قرار می گیرد.