۲-۱-۴-۱ مقایسه با بهره گرفتن از همگرایی کولبک-لیبلر

هدف ما فهمیدن این است که چه موقع روابط (۲-۷) و (۲-۸) در مفهوم مجانبی، نتایج یکسانی بدست می­آورند. نزدیکی این دو توزیع به وسیله اندازه واگرایی کولبک-لیبلر، که اندازه­ای استاندارد برای مقایسه دو توزیع و روی فضای پارامتر است، و به صورت زیر تعریف می­ شود، اندازه ­گیری خواهد شد:

( اینجا فقط تکه ای از متن فایل پایان نامه درج شده است. برای خرید متن کامل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )

واگرایی کولبک-لیبلر را می­توان برای فرمول­بندی مفهوم همگرایی بیزی تجربی برحسب تحلیل بیزی تام به صورت زیر به کار برد:

۲-۱-۴-۱-۱ همگرایی کولبک-لیبلر بیزی تجربی

فرض کنید توزیع توأم داده ­های و پارامتر باشد، به­ طوری­که، بعد و بعد ثابتی داشته باشد که برحسب بزرگ نشود. هم_­­چنین فرض کنید، توزیع پسین بیزی تجربی، به ازای بعضی توابع پارامتر ، باشد، و ، مطابق پسین بیزی تام تحت پیشین باشد. اگر به ازای هر و وقتی تحت ، در احتمال (امیدریاضی) آن­گاه، ، در احتمال به سمت ، کولبک-لیبلر همگرا نامیده می­ شود.
توجه کنید که، همگرایی کولبک-لیبلر با تکیه بر تابع خاصی از پارامتر همراه با توزیع پیشین خاصی روی ابرپارامتر، تعریف می­ شود. فرض کنید در موقع برآورد تابع مشخص ، ممکن است امکان ساخت پیشین معقول فراهم شود به­ طوری­که، با معیار همگرایی کولبک-لیبلر سازگار باشد. آن­گاه تحلیل بیزی تجربی و بیزی تام به ازای نمونه­های با اندازه محدود، با یکدیگر مطابق نیستند، اما حداقل به طور مجانبی مطابقت دارند. از طرف دیگر، اگر یافتن پیشین معقول که منجر به همگرایی کولبک-لیبلر می­ شود، ممکن نباشد آن­گاه، برآورد به وسیله روش بیزی تجربی از دیدگاه بیزی تام، مورد تردید است.
البته به جای همگرایی کولبک-لیبلر، می­توان از سایر مقادیر همگرایی یا واگرایی استفاده کرد، مانند مربع فاصله هلینگر:
با این­حال، در بیشتر نتایج بعدی از همگرایی کولبک-لیبلر استفاده می­ شود زیرا آن آشناتر و تحلیلی­تر است.

۲-۱-۴-۲ یک مثال متعامد

به عنوان یک تصور ساده از نظرات بالا، دو مثال زیر از تحلیل بیزی تجربی را بررسی می­کنیم. مثال اول معیار همگرایی را تصدیق می­ کند در حالی­که دومی چنین نیست. هر دو مثال مدل نمونه گیری یکسانی دارند به این صورت که، متغیرهای تصادفی مستقل شرطی مشاهده می­شوند به­ طوری­که، . بنابراین در این­جا ابرپارامتر است. فرض کنید، و .
در مقابل، این مسئله می ­تواند به عنوان مسئله رگرسیونی متعامد باشد به­ طوری­که بعد و تعداد نمونه­ها به نسبت برابری بزرگ می­شوند: ، که ماتریس همانی است.
برآورد بیزی تجربی طبیعی میانگین نمونه ­ای است، واضح است وقتی ، به ازای سازگار و در نسبت معمول همگرا است. از طرف دیگر، یک ابرپیشین استاندارد در تحلیل بیزی تام، به ازای بعضی مشخص، خواهد بود، وقتی ابرپیشین بدون اطلاع ،اساساً حدی از این است. با بهره گرفتن از عبارات داده شده برای مثال (برگر، ۱۹۸۵)، پسین­های بیزی تجربی و بیزی تام عبارتند از:
به­ طوری­که، ماتریس همانی و بردار ستونی همه یک­ها است.
مثال۲-۱: فرض کنید تنها میانگین نرمال اول مورد نظر باشد، پس تابع هدف است. پس با در نظر گرفتن داریم:
به سادگی می­توان بررسی کرد که وقتی ، . بنابراین، ناشی از روش همگرایی کولبک-لیبلر بیزی تجربی تحت یک پیشین معقول است، زیرا به طور مجانبی مطابق پسین به شرط پیشین روی ابرپارامتر است.
مثال۲-۲: حال فرض کنید که بردار کامل میانگین­ها ، مورد نظر باشد (بنابراین ). پس توزیع­های وابسته، و کامل داده شده در روابط (۲-۹) و (۲-۱۰) به ترتیب با پارامترهای و هستند. محاسبه مستقیم نشان می­دهد که عبارت است از:
به ازای هر انتخاب غیرصفر و به ازای هر مقدار محدود ابرپارامتر ، واضح است که تحت ، وقتی ، در احتمال . بنابراین به ازای هر مقدار (ازجمله ) واگرایی کولبک-لیبلر در (۲-۶) به همگرا می­ شود.
البته این، تنها پیشین­های به شکل را در نظر می­گیرد اما، نرمال بودن مجانبی پسین را می­توان به ازای برای اثبات نتیجه هر پیشینی که در شرایط نظم معمول صدق می­ کند، استفاده کرد، که اشاره دارد به این­که هیچ پیشین معقولی که برای آن ، همگرایی کولبک-لیبلر است، وجود ندارد.
در این­جا تفاوت قاطع این است که در مثال۲-۲، وقتی اطلاعات پیرامون ابرپارامتر جمع می­ شود، پارامتر دلخواه در بعد افزایش می­یابد. این در تحلیل مجانبی، وضعیت معمولی نیست. بنابراین، حتی وقتی و به عناصر معقول نزدیک می­شوند، واگرایی کولبک-لیبلر به عنوان امیدریاضی به صفر نزدیک نمی­ شود.
دو نظر بعدی به ترتیب هستند: اولاً، استدلال مشابهی نشان می­دهد که پسین بیزی تام برای به اصطلاح “پسین پیش­گوی” ، همگرایی کولبک-لیبلر نیست، بنابراین، توزیع پسین شرطی برای ، مقدار صحیح را می­دهد. این منشأ نگرانی برای بیزی نیست اما، آن روشن می­ کند که ناسازگاری بین روش­های بیزی تجربی و بیزی تام هردو روش را تقلیل می­دهد، و تنها ناتوانی بیزی تجربی نیست، اگر هدف غیر بیزی احیای پسین پیش­گو باشد، این می ­تواند به وسیله تحلیل بیزی تجربی و نه بیزی تام بدست آید.
ثانیاً، وضعیت شرح داده شده بالا، دارای اندازه نمونه ­ای متناسب با تعداد پارامتر نامعلوم ، است. اگر نسبت به بزرگ شود، پسین­های بیزی تام و بیزی تجربی/ پیش­گو می ­تواند همگرایی کولبک-لیبلر شود. برای مثال، فرض کنید به ازای هر ، مشاهده مستقل تکراری وجود داشته باشد. آن­گاه محاسبه مشابهی نشان می­دهد که وقتی ، ، بنابراین همگرایی کولبک-لیبلر بین دو روش تعیین می­ شود.

استنباط مدل رگرسیونی بر پایه مفصل

در این بخش مدل رگرسیونی بر پایه مفصل ساخته می­ شود. به طوری که، متغیرهای کمکی هم برای حاشیه­ها و هم برای پارامتر مفصل به کار برده می­شوند. چون مفصل وابستگی را اندازه ­گیری می­ کند، استفاده از متغیرهای کمکی در پارامترهای مفصل مدل­بندی مستقیمی از وابستگی را فراهم می­ کند.

۲-۲-۱ متغیرهای کمکی و وابستگی

مدل پارامتری بر پایه مفصل برای متغیرهای وابسته و با توزیع توأم را به صورت زیر در نظر بگیرید:
که در آن، و توزیع­های کناری با بردارهای پارامتر و هستند و پارامتر مفصل است.
فرض کنید داده ­های موجود باشند، که در آن، متغیر کمکی است و تعداد مشاهدات و تعداد متغیرهای وابسته را نشان می­دهد به طوری که، و .
فرض کنید مدل کناری تک متغیره باشد به طوری که، که میانگینی است که برای تطبیق با متغیرهای کمکی با تابع ربط پارامتری می­ شود، بردار ضرایب رگرسیونی است و بردار پارامترهای کناری است که به متغیرهای کمکی وابسته نیست اما این پارامترها تحت تأثیر معیارهای وابستگی مانند -کندال قرار می­گیرند. بنابراین، با بهره گرفتن از چنین روش­هایی می­توان اثر متغیرهای کمکی روی -کندال را اندازه ­گیری کرد.
به علاوه، می­توان برای پارامتر مفصل یک مدل رگرسیونی تعریف کرد، به این معنی که، را می­توان با شرط روی متغیرهای کمکی مطابق بردار پارامتر با بهره گرفتن از تابع مناسب روی ، ، تعیین کرد. در جدول۲-۲، تعدادی از توابع ربط وابسته به دامنه پارامتر مفصل مفروض، معرفی شده است. این تبدیلات، توابعی اکیداً صعودی از هستند که وقتی به حد بالایی (پایینی) دامنه­اش نزدیک می­ شود، به سمت () میل می­ کند. چنین روشی پارامتر مفصل را به طور مستقیم به متغیرهای کمکی وابسته می­ کند. سه روش برای به کارگیری اطلاعات متغیر کمکی در مدل وجود دارد: با قرار دادن اطلاعات متغیر کمکی

1. 1. در پارامترهای کناری

1. 1. در پارامتر مفصل

1. 1. در پارامترهای کناری و مفصل

اثر و ساختار وابستگی در سه روش بالا متفاوت است.
برای برآورد، از روش ماکسیمم درستنمایی استاندارد استفاده می­کنیم.

نرمال

جو

کلایتون

گامبل

فرانک

مفصل