با گسترش روزافزون شبکه های کامپیوتری و استفاده از آن، مسائل امنیتی در این ارتباطات در سالهای اخیر اهمیت ویژه ای یافته است. بزرگترین خطر امنیتی که اینترنت در حال حاضر با آن مواجه است، انتشار سریع نرم افزارهای بدخواه اینترنتی است. طرحهای مبتنی بر امضا غالباً در تشخیص نرم افزارهای بدخواه یک روزه ناتوان بوده و با توجه به اینکه نوعاً نیازمند دخالت انسانی برای فرموله کردن امضاهای حملات جدید هستند، توانایی آنها برای برهمکنش سریع با حملات جدید محدود است. اشکال عمده این تکنیکها عدم توانایی آنها در تشخیص حملات جدید می باشد. استفاده از روشهای تشخیص ناهنجاری در کنار روشهای تشخیص نفوذ سنتی می تواند این نقص اساسی تکنیکهای تشخیص نفوذ را برطرف سازد. در این پایان نامه الگوریتمهای تشخیص ناهنجاری در دو رده مبتنی بر میزبان و مبتنی بر شبکه پیشنهاد داده شده و مورد بررسی و مقایسه قرار می گیرند. در رده الگوریتمهای مبتنی بر میزبان 5 الگوریتم را با استفاده از زنجیره های مارکف، آتاماتای یادگیر تصادفی، روش دسته بندی k-means، درختهای تصمیم id3 و یک روش بدون ناظر ترکیبی با استفاده از دو روش اخیر را ارائه کرده و مورد مقایسه قرار می دهیم. در رده الگوریتمهای مبتنی بر شبکه دو شیوه را با استفاده از آتاماتاهای یادگیر تصادفی و شبکه های عصبی som پیشنهاد داده و توانایی آنها را در تشخیص ناهنجاری مقایسه کرده ایم. ارزیابی الگوریتمهای پیشنهادی بر اساس معیارهای کارایی sensitivity، specificity، negative likelihood ratio، positive predictive value، negative predictive value می باشد. نتایج ارزیابیهای الگوریتمهای پیشنهادی در آخرین فصل این پایان نامه آمده است.