بهبود یادگیری شبکه عصبی تپشی به کمک تند ترین کاهش گرادیانی بهبود یافته با تانژانت موازی و استفاده از نرخ یادگیری خود انطباقی پویا

شبکه ی عصبی تپشی نوع خاصی از شبکه های عصبی می باشد که داده های ورودی و خروجی آن از جنس زمان است. این شبکه ها برای مدل سازی دقیـق تر نرون های واقعی و رفتار آن ها ایجاد شده اند. در این پژوهش مسئله ی یادگیری در شبکه های عصبی تپشی مورد بررسی قرار گرفته است. نرخ همگرایی پایین و نیز کندی سرعت یادگیری از جمله مشکلاتی است که تاکنون شبکه های عصبی تپشی با آن مواجه بوده است؛ این در حالی است که به دلیل وجود ماهیت زمانی در این شبکه ها، هزینه ی محاسباتی این شبکه ها به خودی خود بسیار بیشتر از شبکه های سیگموئیدی متعارف می باشد. در آخرین تحقیقات و پژوهش های انجام شده در مورد یادگیری در شبکه های عصبی تپشی، از الگوریتم "تندترین کاهش گرادیانی بهبود یافته با مومنتوم با نرخ یادگیری خود انطباقی پویا" استفاده شده است. در همین راستا، در این پژوهش با هدف ایجاد بهینه سازی هایی در نرخ و سرعت همگرایی شبکه عصبی تپشی، از روش "تندترین کاهش گرادیانی بهبود یافته با تانژانت موازی با نرخ یادگیری خود انطباقی پویا" استفاده شده است. آزمون های xor، توازن، چرخش، کدکننده-کدبردار و ایریس به سه روش "تندترین کاهش گرادیانی با نرخ یادگیری خود انطباقی پویا"، "تندترین کاهش گرادیانی با نرخ یادگیری خود انطباقی پویا همراه با بخش مومنتوم" و روش پیشنهادی یعنی "تندترین کاهش گرادیانی بهبود یافته با تانژانت موازی با نرخ یادگیری خود انطباقی پویا" در دو حالت "شبکه عصبی تک تپشی" و "شبکه عصبی چند تپشی" اجرا شده است. همچنین برای هر یک از آزمون ها، در شرایط یکسان مقایسه ای بین یادگیری در شبکه عصبی چند تپشی و شبکه عصبی تک تپشی به روش تندترین کاهش گرادیانی با نرخ یادگیری ثابت انجام شده است. نتایج بدست آمده نشان می دهد که در همه ی آزمون ها روش تندترین کاهش گرادیانی بهبود یافته با تانژانت موازی با نرخ یادگیری خود انطباقی پویا، بیشترین درصد همگریی را به خود اختصاص داده است. پس از آن روش تندترین کاهش گرادیانی بهبود یافته با مومنتوم با نرخ یادگیری خود انطباقی پویا قرار دارد و روش تندترین کاهش گرادیانی با نرخ یادگیری خود انطباقی پویا کمترین نرخ همگرایی را دارد. روش پیشنهادی در حالی بیشترین درصد همگرایی را به خود اختصاص داده است که در مقایسه با دو روش دیگر، دارای هزینه محاسباتی کمتری است. همچنین نتایج بدست آمده نشان می دهد که در شرایط یکسان در صد همگرایی شبکه ی عصبی چند تپشی بیشتر از شبکه ی عصبی تک تپشی است؛ اما هزینه ی محاسباتی شبکه ی چند تپشی بیشتر از شبکه ی تک تپشی است، بنابراین مصالحه ای بین درصد همگرایی و هزینه ی محاسباتی در این دو نوع شبکه برقرار است.