طراحی عامل تجارتگر با استفاده از تکنیک مذاکره ی تئوری بازی همراه با یادگیری تقویتی

با توجه به محدودیت های کاربردهای تجارت الکترونیکی سنتی، نیاز به نسل جدیدی از این کاربردها احساس می شود که با عنوان تجارت الکترونیکی با عامل واسط مطرح می شود. تغییرات عمده ای که تجارت الکترونیکی با عامل واسط ایجاد می کند این است که قیمت گذاری پویا و شخصی سازی پیشنهادها برای بسیاری از کالاها و مشتریان و فروشندگان معمول می گردد. عامل ها در این گونه از تجارت الکترونیکی در پنج مرحله می توانند نقش ایفا کنند: تشخیص نیاز، یافتن محصول، تشکیل ایتلاف با خریداران دیگر، یافتن فروشندگان و مذاکره. مهمترین مرحله در این فرآیند مذاکره می باشد. در مذاکره ی خودکار فروشنده و خریدار باید بر روی یک پروتکل مذاکره توافق کنند و هر کدام استراتژی مذاکره‏ی مخصوص به خود را داشته باشند. نقش پروتکل مذاکره، هماهنگ کردن تعامل بین شرکت‏کنندگان و تحمیل قواعد بر بازی مذاکره است. استراتژی مذاکره که توسط یک عامل استفاده می‏شود، تعیین می‏کند که چگونه با قواعد فراهم شده توسط پروتکل رفتار کند. خروجی مذاکره، نتیجه‏ی تعامل استراتژیهای اتخاذ شده توسط عامل هاست. با توجه به نکات فوق، پروتکلی که در این پروژه مورد بررسی قرار گرفته است حراجی مضاعف است. از میان تکنیک های مختلف مذاکره، روش تیوری بازی به علت دارا بودن پایه ی ریاضیاتی قوی، مدل های اقتصادی و مطرح کردن مفهوم موازنه، برگزیده شده است. همچنین برای تطبیق عامل با محیط و کسب تجربه از عملکردهای پیشین خود، روش یادگیری q-learning به علت عدم نیاز به مدل اولیه از محیط، گزیده شده است. در این پروژه مدلی برای مذاکره در حراجی-های الکترونیکی مبتنی بر تلفیقی از یک تکنیک مذاکره و یک تکنیک یادگیری ارایه می گردد. ترکیب این دو تکنیک بدینگونه است که مقادیر جدول q بر اساس عملکردهای عامل ها، که بر اساس مفهوم موازنه اتخاذ می شوند، به روز می شود. مشاهده شده است که کارایی حراجی و سود حاصله برای عامل ها دراین روش بهتر از استراتژی های پیشین استفاده شده است و همچنین یادگیری, منجر به افزایش چشم-گیری در کارایی برای حراجی و عامل ها می شود.