أمثلة تقدير الاحتمالية القصوى

افترض أن لدينا عينة عشوائية من السكان ذوي الاهتمام. قد يكون لدينا نموذج نظري للطريقة التي تعداد السكان يتم توزيع. ومع ذلك ، قد يكون هناك العديد من السكان المعلمات لا نعرف قيمته. تقدير الاحتمال الأقصى هو إحدى الطرق لتحديد هذه المعلمات غير المعروفة.

الفكرة الأساسية وراء تقدير الاحتمالية القصوى هي أننا نحدد قيم هذه المعلمات غير المعروفة. نقوم بذلك بطريقة لتعظيم دالة كثافة الاحتمال المشترك المرتبطة بها دالة الكتلة الاحتمالية. سنرى هذا بمزيد من التفصيل في ما يلي. ثم سنحسب بعض الأمثلة على تقدير الحد الأقصى للاحتمالية.

يمكن تلخيص المناقشة أعلاه بالخطوات التالية:

1. ابدأ بعينة من المتغيرات العشوائية المستقلة X₁، س₂,... X_ن من توزيع مشترك لكل منها دالة كثافة الاحتمال f (x ؛ θ₁,.. .θ_ك). Thetas هي معلمات غير معروفة.
2. بما أن عينتنا مستقلة ، فإن احتمال الحصول على العينة المحددة التي نلاحظها يتم العثور عليه عن طريق ضرب احتمالاتنا معًا. هذا يعطينا دالة احتمالية L (θ₁,.. .θ_ك) = و (خ₁ ;θ₁,.. .θ_ك) و (خ₂ ;θ₁,.. .θ_ك)... و (خ_ن ;θ₁,.. .θ_ك) = Π f (x_أنا ;θ₁,.. .θ_ك).
3. بعد ذلك ، نستخدم حساب التفاضل والتكامل للعثور على قيم ثيتا التي تزيد من دالة الاحتمالية L.
instagram viewer
4. وبشكل أكثر تحديدًا ، فإننا نفرق بين دالة الاحتمالية L فيما يتعلق θ إذا كان هناك معلمة واحدة. إذا كانت هناك معلمات متعددة نحسب مشتقات جزئية لـ L فيما يتعلق بكل من معلمات ثيتا.
5. لمواصلة عملية التعظيم ، قم بتعيين مشتق L (أو مشتقات جزئية) يساوي الصفر وحل لثيتا.
6. يمكننا بعد ذلك استخدام تقنيات أخرى (مثل اختبار مشتق ثان) للتحقق من أننا وجدنا الحد الأقصى لوظيفة الاحتمالية.

لنفترض أن لدينا مجموعة من البذور ، لكل منها احتمالية ثابتة ص نجاح الإنبات. نحن نزرع ن من هؤلاء وإحصاء عدد أولئك الذين ينبتون. افترض أن كل بذرة تنبت بشكل مستقل عن الأخرى. كيف نحدد الحد الأقصى لمقدر الاحتمالية للمعلمة ص?

نبدأ بالإشارة إلى أن كل بذرة على غرار توزيع برنولي بنجاح ص. نحن نسمح X تكون إما 0 أو 1 ، وتكون دالة الكتلة الاحتمالية للبذرة الواحدة F(خ ؛ ص ) = ص^س(1 - ص)^{1 - س}.

تتكون عينتنا من ن مختلف X_أنا، كل من لديه توزيع برنولي. البذور التي تنبت X_أنا = 1 والبذور التي تفشل في النمو X_أنا = 0.

يتم إعطاء دالة الاحتمالية من خلال:

لام ( ص ) = Π ص^س_أنا(1 - ص)^{1 - س}_أنا

نرى أنه من الممكن إعادة كتابة دالة الاحتمالية باستخدام قوانين الدعاة.

لام ( ص ) = ص^{Σ س}_أنا(1 - ص)^{ن - Σ س}_أنا

بعد ذلك نميز هذه الوظيفة فيما يتعلق ص. نفترض أن القيم لجميع X_أنا معروفة ، وبالتالي فهي ثابتة. للتمييز بين وظيفة الاحتمال نحتاج إلى استخدام قاعدة المنتج مع قاعدة الطاقة:

L '( ص ) = Σ س_أناص^{-1 + Σ س}_أنا (1 - ص)^{ن - Σ س}_أنا- (ن - Σ س_أنا ) ص^{Σ س}_أنا(1 - ص)^{ن-1 - Σ س}_أنا

نعيد كتابة بعض الأسس السلبية ولدينا:

L '( ص ) = (1/ص) Σ س_أناص^{Σ س}_أنا (1 - ص)^{ن - Σ س}_أنا- 1/(1 - ص) (ن - Σ س_أنا ) ص^{Σ س}_أنا(1 - ص)^{ن - Σ س}_أنا

= [(1/ص) Σ س_أنا - 1/(1 - ص) (ن - Σ س_أنا)]_أناص^{Σ س}_أنا (1 - ص)^{ن - Σ س}_أنا

الآن ، من أجل مواصلة عملية التعظيم ، قمنا بتعيين هذا المشتق يساوي الصفر ونحلها ص:

0 = [(1/ص) Σ س_أنا - 1/(1 - ص) (ن - Σ س_أنا)]_أناص^{Σ س}_أنا (1 - ص)^{ن - Σ س}_أنا

منذ ص و 1- ص) غير صفرية لدينا ذلك

0 = (1/ص) Σ س_أنا - 1/(1 - ص) (ن - Σ س_أنا).

اضرب طرفي المعادلة ب ص(1- ص) يعطينا:

0 = (1 - ص) Σ س_أنا - ص (ن - Σ س_أنا).

نقوم بتوسيع الجانب الأيمن ونرى:

0 = Σ س_أنا - ص Σ س_أنا - صن + ص_أنا = Σ س_أنا - صن.

هكذا Σ س_أنا = صن و (1 / ن) ×_أنا = ص. وهذا يعني أن مقدر احتمالية قصوى ص يعني عينة. بشكل أكثر تحديدًا هذه هي نسبة عينة البذور التي تنبت. هذا يتماشى تمامًا مع ما قد يخبرنا به الحدس. لتحديد نسبة البذور التي ستنبت ، ضع في اعتبارك أولاً عينة من السكان المعنيين.

هناك بعض التعديلات على قائمة الخطوات أعلاه. على سبيل المثال ، كما رأينا أعلاه ، من المفيد عادةً قضاء بعض الوقت في استخدام بعض الجبر لتبسيط التعبير عن دالة الاحتمالية. والسبب في ذلك هو تسهيل تنفيذ التمايز.

تغيير آخر لقائمة الخطوات أعلاه هو النظر في اللوغاريتمات الطبيعية. سيحدث الحد الأقصى للدالة L في نفس النقطة التي تحدث فيها للوغاريتم الطبيعي لـ L. وبالتالي فإن تعظيم ln L يعادل تعظيم الدالة L.

في كثير من الأحيان ، بسبب وجود وظائف أسية في L ، فإن أخذ اللوغاريتم الطبيعي لـ L سوف يبسط إلى حد كبير بعض أعمالنا.

نرى كيفية استخدام اللوغاريتم الطبيعي من خلال إعادة النظر في المثال أعلاه. نبدأ بوظيفة الاحتمال:

لام ( ص ) = ص^{Σ س}_أنا(1 - ص)^{ن - Σ س}_أنا .

ثم نستخدم قوانين اللوغاريتم الخاصة بنا ونرى ما يلي:

R ( ص ) = ln L ( ص ) = Σ س_أنا ln ص + (ن - Σ س_أنا) ln (1 - ص).

نرى بالفعل أن المشتق أسهل في الحساب:

R '( ص ) = (1/ص) Σ س_أنا - 1/(1 - ص)(ن - Σ س_أنا) .

الآن ، كما كان من قبل ، قمنا بتعيين هذا المشتق يساوي الصفر ونضرب كلا الجانبين في ص (1 - ص):

0 = (1- ص ) Σ س_أنا - ص(ن - Σ س_أنا) .

نحل ل ص والعثور على نفس النتيجة كما كانت من قبل.

استخدام اللوغاريتم الطبيعي لـ L (p) مفيد بطريقة أخرى. من الأسهل بكثير حساب مشتق ثانٍ من R (p) للتحقق من أن لدينا بالفعل الحد الأقصى عند النقطة (1 / n) Σ x_أنا = ص.

كمثال آخر ، لنفترض أن لدينا عينة عشوائية X₁، س₂,... X_ن من مجتمع نقوم بتصميمه بتوزيع أسي. دالة كثافة الاحتمال لمتغير عشوائي واحد هي من الشكل F( س ) = θ^-1ه ^-x/θ

يتم إعطاء دالة الاحتمال من خلال دالة كثافة الاحتمال المشتركة. هذا نتاج العديد من وظائف الكثافة هذه:

L (θ) = Π θ^-1ه ^-x_أنا^/θ = θ^-نه ^-Σس_أنا^/θ

مرة أخرى ، من المفيد النظر في اللوغاريتم الطبيعي لوظيفة الاحتمالية. سيتطلب تمييز هذا العمل أقل من التفريق بين وظيفة الاحتمال:

R (θ) = ln L (θ) = ln [θ^-نه ^-Σس_أنا^/θ]

نستخدم قوانين اللوغاريتمات الخاصة بنا ونحصل على:

R (θ) = ln L (θ) = - ن ln θ + -Σس_أنا/θ

نحن نفرق فيما يتعلق بـ θ ولدينا:

R '(θ) = - ن / θ + Σس_أنا/θ²

ضع هذا المشتق يساوي الصفر ونرى أن:

0 = - ن / θ + Σس_أنا/θ².

اضرب كلا الجانبين في θ² والنتيجة هي:

0 = - ن θ + Σس_أنا.

استخدم الآن الجبر لحل θ:

θ = (1 / ن) Σس_أنا.

نرى من هذا أن متوسط ​​العينة هو ما يزيد من دالة الاحتمالية. يجب أن تكون المعلمة θ لتناسب نموذجنا هي ببساطة كل ملاحظاتنا.

روابط

هناك أنواع أخرى من المُقدِّرين. يسمى نوع بديل بديل من التقدير مقدر غير متحيز. بالنسبة لهذا النوع ، يجب أن نحسب القيمة المتوقعة لإحصائياتنا ونحدد ما إذا كانت تتطابق مع معلمة مقابلة.