۲-۱-۴-۱ مقایسه با بهره گرفتن از همگرایی کولبک-لیبلر
هدف ما فهمیدن این است که چه موقع روابط (۲-۷) و (۲-۸) در مفهوم مجانبی، نتایج یکسانی بدست میآورند. نزدیکی این دو توزیع به وسیله اندازه واگرایی کولبک-لیبلر، که اندازهای استاندارد برای مقایسه دو توزیع و روی فضای پارامتر است، و به صورت زیر تعریف می شود، اندازه گیری خواهد شد:
( اینجا فقط تکه ای از متن فایل پایان نامه درج شده است. برای خرید متن کامل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )
واگرایی کولبک-لیبلر را میتوان برای فرمولبندی مفهوم همگرایی بیزی تجربی برحسب تحلیل بیزی تام به صورت زیر به کار برد:
۲-۱-۴-۱-۱ همگرایی کولبک-لیبلر بیزی تجربی
فرض کنید توزیع توأم داده های و پارامتر باشد، به طوریکه، بعد و بعد ثابتی داشته باشد که برحسب بزرگ نشود. همچنین فرض کنید، توزیع پسین بیزی تجربی، به ازای بعضی توابع پارامتر ، باشد، و ، مطابق پسین بیزی تام تحت پیشین باشد. اگر به ازای هر و وقتی تحت ، در احتمال (امیدریاضی) آنگاه، ، در احتمال به سمت ، کولبک-لیبلر همگرا نامیده می شود.
توجه کنید که، همگرایی کولبک-لیبلر با تکیه بر تابع خاصی از پارامتر همراه با توزیع پیشین خاصی روی ابرپارامتر، تعریف می شود. فرض کنید در موقع برآورد تابع مشخص ، ممکن است امکان ساخت پیشین معقول فراهم شود به طوریکه، با معیار همگرایی کولبک-لیبلر سازگار باشد. آنگاه تحلیل بیزی تجربی و بیزی تام به ازای نمونههای با اندازه محدود، با یکدیگر مطابق نیستند، اما حداقل به طور مجانبی مطابقت دارند. از طرف دیگر، اگر یافتن پیشین معقول که منجر به همگرایی کولبک-لیبلر می شود، ممکن نباشد آنگاه، برآورد به وسیله روش بیزی تجربی از دیدگاه بیزی تام، مورد تردید است.
البته به جای همگرایی کولبک-لیبلر، میتوان از سایر مقادیر همگرایی یا واگرایی استفاده کرد، مانند مربع فاصله هلینگر:
با اینحال، در بیشتر نتایج بعدی از همگرایی کولبک-لیبلر استفاده می شود زیرا آن آشناتر و تحلیلیتر است.
۲-۱-۴-۲ یک مثال متعامد
به عنوان یک تصور ساده از نظرات بالا، دو مثال زیر از تحلیل بیزی تجربی را بررسی میکنیم. مثال اول معیار همگرایی را تصدیق می کند در حالیکه دومی چنین نیست. هر دو مثال مدل نمونه گیری یکسانی دارند به این صورت که، متغیرهای تصادفی مستقل شرطی مشاهده میشوند به طوریکه، . بنابراین در اینجا ابرپارامتر است. فرض کنید، و .
در مقابل، این مسئله می تواند به عنوان مسئله رگرسیونی متعامد باشد به طوریکه بعد و تعداد نمونهها به نسبت برابری بزرگ میشوند: ، که ماتریس همانی است.
برآورد بیزی تجربی طبیعی میانگین نمونه ای است، واضح است وقتی ، به ازای سازگار و در نسبت معمول همگرا است. از طرف دیگر، یک ابرپیشین استاندارد در تحلیل بیزی تام، به ازای بعضی مشخص، خواهد بود، وقتی ابرپیشین بدون اطلاع ،اساساً حدی از این است. با بهره گرفتن از عبارات داده شده برای مثال (برگر، ۱۹۸۵)، پسینهای بیزی تجربی و بیزی تام عبارتند از:
به طوریکه، ماتریس همانی و بردار ستونی همه یکها است.
مثال۲-۱: فرض کنید تنها میانگین نرمال اول مورد نظر باشد، پس تابع هدف است. پس با در نظر گرفتن داریم:
به سادگی میتوان بررسی کرد که وقتی ، . بنابراین، ناشی از روش همگرایی کولبک-لیبلر بیزی تجربی تحت یک پیشین معقول است، زیرا به طور مجانبی مطابق پسین به شرط پیشین روی ابرپارامتر است.
مثال۲-۲: حال فرض کنید که بردار کامل میانگینها ، مورد نظر باشد (بنابراین ). پس توزیعهای وابسته، و کامل داده شده در روابط (۲-۹) و (۲-۱۰) به ترتیب با پارامترهای و هستند. محاسبه مستقیم نشان میدهد که عبارت است از:
به ازای هر انتخاب غیرصفر و به ازای هر مقدار محدود ابرپارامتر ، واضح است که تحت ، وقتی ، در احتمال . بنابراین به ازای هر مقدار (ازجمله ) واگرایی کولبک-لیبلر در (۲-۶) به همگرا می شود.
البته این، تنها پیشینهای به شکل را در نظر میگیرد اما، نرمال بودن مجانبی پسین را میتوان به ازای برای اثبات نتیجه هر پیشینی که در شرایط نظم معمول صدق می کند، استفاده کرد، که اشاره دارد به اینکه هیچ پیشین معقولی که برای آن ، همگرایی کولبک-لیبلر است، وجود ندارد.
در اینجا تفاوت قاطع این است که در مثال۲-۲، وقتی اطلاعات پیرامون ابرپارامتر جمع می شود، پارامتر دلخواه در بعد افزایش مییابد. این در تحلیل مجانبی، وضعیت معمولی نیست. بنابراین، حتی وقتی و به عناصر معقول نزدیک میشوند، واگرایی کولبک-لیبلر به عنوان امیدریاضی به صفر نزدیک نمی شود.
دو نظر بعدی به ترتیب هستند: اولاً، استدلال مشابهی نشان میدهد که پسین بیزی تام برای به اصطلاح “پسین پیشگوی” ، همگرایی کولبک-لیبلر نیست، بنابراین، توزیع پسین شرطی برای ، مقدار صحیح را میدهد. این منشأ نگرانی برای بیزی نیست اما، آن روشن می کند که ناسازگاری بین روشهای بیزی تجربی و بیزی تام هردو روش را تقلیل میدهد، و تنها ناتوانی بیزی تجربی نیست، اگر هدف غیر بیزی احیای پسین پیشگو باشد، این می تواند به وسیله تحلیل بیزی تجربی و نه بیزی تام بدست آید.
ثانیاً، وضعیت شرح داده شده بالا، دارای اندازه نمونه ای متناسب با تعداد پارامتر نامعلوم ، است. اگر نسبت به بزرگ شود، پسینهای بیزی تام و بیزی تجربی/ پیشگو می تواند همگرایی کولبک-لیبلر شود. برای مثال، فرض کنید به ازای هر ، مشاهده مستقل تکراری وجود داشته باشد. آنگاه محاسبه مشابهی نشان میدهد که وقتی ، ، بنابراین همگرایی کولبک-لیبلر بین دو روش تعیین می شود.
استنباط مدل رگرسیونی بر پایه مفصل
در این بخش مدل رگرسیونی بر پایه مفصل ساخته می شود. به طوری که، متغیرهای کمکی هم برای حاشیهها و هم برای پارامتر مفصل به کار برده میشوند. چون مفصل وابستگی را اندازه گیری می کند، استفاده از متغیرهای کمکی در پارامترهای مفصل مدلبندی مستقیمی از وابستگی را فراهم می کند.
۲-۲-۱ متغیرهای کمکی و وابستگی
مدل پارامتری بر پایه مفصل برای متغیرهای وابسته و با توزیع توأم را به صورت زیر در نظر بگیرید:
که در آن، و توزیعهای کناری با بردارهای پارامتر و هستند و پارامتر مفصل است.
فرض کنید داده های موجود باشند، که در آن، متغیر کمکی است و تعداد مشاهدات و تعداد متغیرهای وابسته را نشان میدهد به طوری که، و .
فرض کنید مدل کناری تک متغیره باشد به طوری که، که میانگینی است که برای تطبیق با متغیرهای کمکی با تابع ربط پارامتری می شود، بردار ضرایب رگرسیونی است و بردار پارامترهای کناری است که به متغیرهای کمکی وابسته نیست اما این پارامترها تحت تأثیر معیارهای وابستگی مانند -کندال قرار میگیرند. بنابراین، با بهره گرفتن از چنین روشهایی میتوان اثر متغیرهای کمکی روی -کندال را اندازه گیری کرد.
به علاوه، میتوان برای پارامتر مفصل یک مدل رگرسیونی تعریف کرد، به این معنی که، را میتوان با شرط روی متغیرهای کمکی مطابق بردار پارامتر با بهره گرفتن از تابع مناسب روی ، ، تعیین کرد. در جدول۲-۲، تعدادی از توابع ربط وابسته به دامنه پارامتر مفصل مفروض، معرفی شده است. این تبدیلات، توابعی اکیداً صعودی از هستند که وقتی به حد بالایی (پایینی) دامنهاش نزدیک می شود، به سمت () میل می کند. چنین روشی پارامتر مفصل را به طور مستقیم به متغیرهای کمکی وابسته می کند. سه روش برای به کارگیری اطلاعات متغیر کمکی در مدل وجود دارد: با قرار دادن اطلاعات متغیر کمکی
-
- در پارامترهای کناری
-
- در پارامتر مفصل
-
- در پارامترهای کناری و مفصل
اثر و ساختار وابستگی در سه روش بالا متفاوت است.
برای برآورد، از روش ماکسیمم درستنمایی استاندارد استفاده میکنیم.
نرمال
جو
کلایتون
گامبل
فرانک
مفصل
