機械学習のロジスティック回帰モデルのメモ

ロジスティック回帰モデル(2値分類)

logit(p=φ(z)) = z = w0+x1w1+...+xnwn　∴

p(y=1(2値分類)| x, w) = φ(z) = 1/[1+exp(-z)]

即ち、φ(z)はy=1でありそうな確率(この x,w 時点で)

^y == φ(z)≧0.5　[^y＝計算値(実測値yとは違う)＝機械の最終的な判断]

wの更新

w := w+Δw

Δwj :=-η∂J/∂wj = ηΣ(y-φ(z))xj (Σはjではなく、サンプル番号で)

メモ

パーセプトロンでは

H￣φ(z) = z ,　機械の最終判断^y == φ(z)　(H￣は、1or-1の階段関数の逆関数)

ロジットモデルでは

logit(p=φ(z)) = z ,　機械の判断^y == φ(z)≧0.5

ADALINEとロジットの違いはコスト関数 J(w)