مسئله کمترین مربعات خطی و کمترین مربعات نامنفی کامل دارای کاربردهای متعددی همچون پردازش تصویر است. در بسیاری از این مواقع ماتریس ضرایب این مسائل بد حالت بوده لذا روش های کلاسیک برای حل آنها به جواب درستی منجر نمی شود. در این پایان نامه ابتدا الگوریتم های کارا برای حل مسئله کمترین مربعات رتبه ناقص ارائه می شود. همچنین در خصوص حل مسئله کمترین مربعات نامنف کامل الگوریتم های گرادیان که بسیار از نظر محاسباتی در مقایسه با الگوریتم های مرتبه دو ارزان تر هستند اراپه می شود. در پایان نیز روی مثال های متعددی الگوریتم های ارائه شده با الگوریتم های کلاسیک مقایسه می شوند.