Varsayalım ki rastgele örneklem ilgilenen bir popülasyondan. Teorik bir modelimiz olabilir. nüfus Dağıtıldı. Ancak, birkaç nüfus olabilir parametreler değerlerini bilmiyoruz. Maksimum olabilirlik tahmini, bu bilinmeyen parametreleri belirlemenin bir yoludur.
Maksimum olabilirlik kestiriminin ardındaki temel fikir, bu bilinmeyen parametrelerin değerlerini belirlememizdir. Bunu, ilişkili bir olasılık olasılık yoğunluğu fonksiyonunu en üst düzeye çıkaracak şekilde yapıyoruz veya olasılık kütle fonksiyonu. Bunu daha sonra detaylı olarak göreceğiz. Ardından, maksimum olabilirlik tahmini için bazı örnekler hesaplayacağız.
Maksimum Olabilirlik Tahmini Adımları
Yukarıdaki tartışma aşağıdaki adımlarla özetlenebilir:
- Bağımsız rastgele değişkenlerin bir örneğiyle başlayın X1, X2,... Xn her biri olasılık yoğunluk fonksiyonu f (x olan ortak bir dağılımdan; θ1,.. .θk). Tetas bilinmeyen parametrelerdir.
- Örneğimiz bağımsız olduğu için gözlemlediğimiz spesifik numuneyi elde etme olasılığı, olasılıklarımızı bir araya getirerek bulunur. Bu bize bir olasılık fonksiyonu L (θ 1,.. .θk) = f (x1 ;θ1,.. .θk) f (x2 ;θ1,.. .θk)... f (xn ;θ1,.. .θk) = Π f (xben ;θ1,.. .θk).
- Sonra, hesap olasılık fonksiyonumuzu L maksimize eden teta değerlerini bulmak için.
- Daha spesifik olarak, tek bir parametre varsa, L olasılık fonksiyonunu θ ile ayırt ederiz. Birden fazla parametre varsa, teta parametrelerinin her birine göre L'nin kısmi türevlerini hesaplıyoruz.
- Maksimizasyon işlemine devam etmek için L'nin (veya kısmi türevlerin) türevini sıfıra eşitleyin ve teta için çözün.
- Daha sonra olabilirlik fonksiyonumuz için bir maksimum bulduğumuzu doğrulamak için başka teknikler (ikinci bir türev testi gibi) kullanabiliriz.
Misal
Her birinin sabit bir olasılığı olan bir tohum paketimiz olduğunu varsayalım p çimlenme başarısı. Ekiyoruz n ve filizlenenlerin sayısını sayın. Her tohumun diğerlerinden bağımsız olarak filizlendiğini varsayın. Parametrenin maksimum olabilirlik tahmincisini nasıl belirleriz? p?
Her tohumun bir Bernoulli dağılımı ile modellenmiş olduğunu ve s. İzin verdik X 0 veya 1 olmalıdır ve tek bir tohum için olasılık kütle fonksiyonu f(x; p ) = px(1 - p)1 - x.
Bizim örnek oluşur n farklı Xben, her birinin Bernoulli dağılımı vardır. Filizlenen tohumlar Xben = 1 ve filizlenemeyen tohumlar Xben = 0.
Olabilirlik işlevi şu şekilde verilir:
L ( p ) = Π pxben(1 - p)1 - xben
Olasılık fonksiyonunu üslerin yasalarını kullanarak yeniden yazmanın mümkün olduğunu görüyoruz.
L ( p ) = pΣ xben(1 - p)n - Σ xben
Daha sonra bu fonksiyonu p. Tüm değerlerin Xben bilinir ve dolayısıyla sabittir. Olabilirlik fonksiyonunu farklılaştırmak için, güç kuralı ile birlikte ürün kuralı:
L '( p ) = Σ xbenp-1 + Σ xben (1 - p)n - Σ xben- (n - Σ xben ) p-Σ xben(1 - p)n-1 - Σ xben
Bazı negatif üsleri yeniden yazıyoruz ve:
L '( p ) = (1/p) Σ xbenpΣ xben (1 - p)n - Σ xben- 1/(1 - p) (n - Σ xben ) p-Σ xben(1 - p)n - Σ xben
= [(1/p) Σ xben - 1/(1 - p) (n - Σ xben)]benpΣ xben (1 - p)n - Σ xben
Şimdi, maksimizasyon sürecine devam etmek için, bu türevi sıfıra eşitliyoruz ve s:
0 = [(1/p) Σ xben - 1/(1 - p) (n - Σ xben)]benpΣ xben (1 - p)n - Σ xben
Dan beri p ve 1- p) sıfırdan farklı
0 = (1/p) Σ xben - 1/(1 - p) (n - Σ xben).
Denklemin her iki tarafını çarparak p(1- p) bize verir:
0 = (1 - p) Σ xben - p (n - Σ xben).
Sağ tarafı genişletip görüyoruz:
0 = Σ xben - p Σ xben - pn + pΣ xben = Σ xben - pn.
Böylece Σ xben = pn ve (1 / n) Σ xben = s. Bu, maksimum olasılık tahmin edicisinin p bir örnek ortalamasıdır. Daha spesifik olarak bu, çimlenen tohumların örnek oranıdır. Bu, sezginin bize söyleyeceği şeye mükemmel bir şekilde uygundur. Çimlenecek tohumların oranını belirlemek için, önce ilgili popülasyondan bir örnek düşünün.
Adımlardaki Değişiklikler
Yukarıdaki adım listesinde bazı değişiklikler vardır. Örneğin, yukarıda gördüğümüz gibi, tipik olarak olasılık fonksiyonunun ifadesini basitleştirmek için biraz cebir kullanarak biraz zaman geçirmeye değer. Bunun nedeni, farklılaşmayı daha kolay hale getirmektir.
Yukarıdaki adım listesindeki bir diğer değişiklik doğal logaritmaları dikkate almaktır. L fonksiyonu için maksimum, L'nin doğal logaritması ile aynı noktada gerçekleşecektir. Böylece ln L'yi en üst düzeye çıkarmak L fonksiyonunu en üst düzeye çıkarmakla eşdeğerdir.
Çoğu zaman, L'de üstel fonksiyonların varlığı nedeniyle, L'nin doğal logaritmasını almak bazı çalışmalarımızı büyük ölçüde basitleştirecektir.
Misal
Yukarıdaki örneği tekrar gözden geçirerek doğal logaritmanın nasıl kullanılacağını görüyoruz. Olabilirlik işleviyle başlıyoruz:
L ( p ) = pΣ xben(1 - p)n - Σ xben .
Daha sonra logaritma yasalarımızı kullanırız ve şunu görürüz:
R ( p ) = ln L ( p ) = Σ xben ln p + (n - Σ xben) ln (1 - p).
Türevin hesaplanmasının çok daha kolay olduğunu zaten görüyoruz:
R ', ( p ) = (1/p) Σ xben - 1/(1 - p)(n - Σ xben) .
Şimdi, daha önce olduğu gibi, bu türevi sıfıra eşitliyoruz ve her iki tarafı da çarpıyoruz p (1 - p):
0 = (1- p ) Σ xben - p(n - Σ xben) .
Biz çözüyoruz p ve öncekiyle aynı sonucu bulun.
L (p) 'nin doğal logaritmasının kullanımı başka bir şekilde yardımcı olur. (1 / n) Σ x noktasında gerçekten maksimum değere sahip olduğumuzu doğrulamak için ikinci bir R (p) türevini hesaplamak çok daha kolaydır.ben = s.
Misal
Başka bir örnek olarak, rastgele bir örnek X'e sahip olduğumuzu varsayalım1, X2,... Xn üstel dağılım ile modelleme yaptığımız bir popülasyondan Bir rastgele değişken için olasılık yoğunluk fonksiyonu şu şekildedir f( x ) = θ-1e -x/θ
Olabilirlik fonksiyonu, ortak olasılık yoğunluk fonksiyonu tarafından verilir. Bu, bu yoğunluk işlevlerinin birkaçının bir ürünüdür:
L (θ) = Π θ-1e -xben/θ = θ-ne -Σxben/θ
Bir kez daha olabilirlik fonksiyonunun doğal logaritmasını dikkate almak yararlıdır. Bunu ayırt etmek, olasılık fonksiyonunu ayırt etmekten daha az çalışma gerektirir:
R (θ) = ln L (θ) = ln [θ-ne -Σxben/θ]
Logaritma yasalarımızı kullanırız ve şunları elde ederiz:
R (θ) = ln L (θ) = - n ln θ + -Σxben/θ
Θ ile ayırt ederiz ve:
R '(θ) = - n / θ + Σxben/θ2
Bu türevi sıfıra ayarlayın ve şunu görelim:
0 = - n / θ + Σxben/θ2.
Her iki tarafı da çarpın θ2 ve sonuç:
0 = - n θ + Σxben.
Şimdi ge için çözmek için cebir kullanın:
θ = (1 / n) Σxben.
Bundan örneklemin olasılık fonksiyonunu en üst düzeye çıkaran şey olduğunu görüyoruz. Modelimize uyacak θ parametresi, tüm gözlemlerimizin ortalaması olmalıdır.
Bağlantılar
Başka tahmin ediciler de vardır. Alternatif bir tahmin türüne tarafsız tahminci. Bu tip için istatistiğimizden beklenen değeri hesaplamalı ve karşılık gelen bir parametreyle eşleşip eşleşmediğini belirlemeliyiz.