در این پایان نامه ابتدا سیستم های تعمیر پذیر را معرفی نموده و مدل بندی تصادفی سیستم هارا بیان کرده ایم، سپس به معرفی سیستم های افزونه سخت افزاری و نرم افزاری پرداخته ایم. سیستم های مازاد سخت افزاری را به مازاد نوع اوّل و دوم تقسیم کرده و ویژگی های آن ها را مورد بررسی قرار داده ایم. همچنین برای بیان کاربرد افزونگی نرم افزاری، سیستم های بازرسی که در زمره ی سیستم های رایانه ای می باشند را مطرح نموده ایم. در انتها نیز به کاربرد آنتروپی در انواع سیستم های افزونه مورد اشاره، پرداخته ایم.

نظریه قابلیت اعتماد یکی از بخشهای مهم علم آمار است. فرض کنید اجزاء یک سیستم طول عمرهای متفاوتی داشته باشند، در این صورت مشاهدات ما از این سیستم علاوه بر زمان خرابی علت خرابی نیز می باشد. در چنین، شرایطی امکان دارد علت واقعی خرابی سیستم، مشخص نباشد. بنابراین داده های حاصل به گونه ای است که علت خرابی سیستم را تنهادر مجموعه ای چند عضوی از مولفه های مشخص می کند. به این نوع داده‎ها، داده های پنهان گفته می شود. در این پایان نامه برآورد درستنمایی ماکزیمم و بیز مشخصه های اجزاء سیستم های سری و موازی در دو حالت سه جزیی و دو جزیی مورد مطالعه قرار گرفته اند و نشان داده ایم درصد خطای برآورد پارامترهای اجزاء سیستم با افزایش سطح داده های پنهان در سیستم های دو جزیی افزایش می یابد ولی در مورد سیستم های سه جزیی لزوما اینگونه نیست.

در این نوشتار ابتدا مدل رگرسیون خطی، نحوه برآورد پارامترهای مدل رگرسیون، آزمون معنی داری ضرایب رگرسیون، انتخاب بهترین معادله رگرسیون و مساله هم خطی مطرح می شود. تعاریفی از نظریه اطلاعات بیان می گردد و اصل آنتروپی ماکسیمم معرفی می شود. با استفاده از نظریه اطلاعات‏، آنتروپی ماکسیمم برای ضرایب و خطا‎‏های مدل رگرسیون حاصل می شود، ضرایب مدل رگرسیون با کمک نظریه اطلاعات برآورد می شوند و آزمون معنی داری رگرسیون با توجه به نظریه اطلاعات صورت می گیرد. در نهایت نحوه تشخیص هم خطی و رفع مشکل هم خطی مدل رگرسیون بر اساس نظریه اطلاعات بیان می شود ‏، یکی از روشهایی که برای برطرف کردن هم خطی با کمک نظریه اطلاعات صورت می گیرد‏، آنتروپی ماکسیمم تعمیم یافته است که در این طرح به معرفی آن پرداخته می شود.