最尤法

母分布は何か?

あるくじがあり、当たりの確率は知らされていない。このとき1000回引いて100回当たったとき(事象A)、このくじはだいたい1割の確率で当たるだろうと予測することは自然な考え方である。

このごく自然な考えを定式化してみる。

隠されている確率をαとおく。このとき1000回のうち10回当たる確率は
conbin(1000,100)α^(100)*(1-α)^(900)

こいつをL(α)としてαの関数としてみる。
適当にエクセルか何かでαを0.01ずつ動かしてグラフを書いてみる。L(α)とは何だろうか?

問題

L(α1)>L(α2)となるα1とα2の組みを考える。

  • ①隠されている確率がα1と仮定した場合とα2と仮定した場合、どちらが事象Aが起きる確率が高いか?

答え:α1(L(α1)>L(α2)より自明)

  • 事象Aが観測されたとする。I君とH君がこのくじの確率について議論している。

I君の主張:母確率はα1よりα2に近い値だ。
H君の主張:母確率はα2よりα1に近い値だ。
どちらの考えを支持する?

同じL(α)の仮定での問題であるが、
①は事象A観測前の話題であり、②は観測後である。
①のときはL(α)事象Aの確率とみている。しかし②の場合L(α)は事象Aの観測結果が織り込まれた関数であり
確率という概念にはそぐわない。

尤度とは?

事象Aが起きたときに、これはめったにないことが起きたと考えるより、よくあることが起きたと考えるのが尤もらしい考え方である。このことから尤らしさの尺度は①の時点のL(α)が大きい方が(確率の多きいほうがよく起こるから)大きくなる。

従って確率と尤もらしさの尺度は概念としては異なるものだが、見た目の式を同じにしても問題はない。尤もらしさの尺度②のL(α)を尤度とよぶ。
(実務上は確率と尤度を明確に分けて理解しなくても何とかなってしまうが)

反論:ごくたまに確率が薄いところをひく可能性があるのに乱暴すぎないか?
隠されている確率がα1であるとは述べてはいない。わかっている事象Aからα1のほうがα2より尤らしいということである。(ここが自然な考え)

最尤法

?の問題を一般化してみる。

MAX(L(α)|α∊(0,1))=L(α~)
となるα^は最も尤もらしいαとなる。

このα^を母確率の推定値とする方法を最尤法と呼ぶ。
推定された値を最尤推定量と呼ぶ。

あたりくじの最尤推定

パラメトリックな分布ではたやすく最尤推定量を求めることができる。

L(α)=CONBIN(1000,100)*(α)^(100)*(1−α)^(900)
をαの関数とみなし、最大値問題を解く。
一般的にはL(α)に対数をとったものを目的関数とすることが多い
(これはLOGの単調増加性と積⇒加法とする性質が最大値問題を解くにあたって有効である)

LOG(L(α))=LOG(CONBIN(1000,100))+100LOG(α)+900LOG(1−α)
ここでLOG(L(α))は(0<α<1)の範囲で上に凸であるので
LOG(L(α))^(1)=0となるαにおいて最大値をとる。

100*(1/α)=900*(1/(1−α))
100*(1−α)/α=900
100−100α=900α
100=1000α
α=0.1

従ってあたりくじの最尤推定値は0.1である。
自然な考え方と同じ値である。

AX