似然函数

定义**：**

• 给定一个概率分布$\mathcal{D}$
• 从该分布抽取样本$x=(x_1, x_2, x_3, ..., x_n)$
• 给定一个模型，其分布参数为$w$
  • 正态分布的参数$w=(\mu,\sigma)$
  • 逻辑回归的参数$w=(w_1,w_2,w_3,...,w_n, b)$
• 似然函数为：
  • $L(w|x) = L(w | x_1,x_2,x_3,...,x_n)$

理解**：**

• 定义：找最有抽出样本 $x$ 的模型参数
• 所以，$L(w|x)\equiv L(x|w)$
• 假设从参数为 $w$ 的分布中进行 $n$ 次抽样，得random samples $X_1,X_2,...,X_n$
• 其抽出 $x$ 的可能性（似然值）即：

$$ \begin{align*} L(x|w) &= P(X_1=x_1,X_2=x_2,\cdots,X_n=x_n) \\ &= P(x_1|w) \cdot P(x_2|w) \cdots P(x_n|w) \\ &= \prod_{i=1}^{n}P(x_i|w) \end{align*}

$$

好文

一文搞懂极大似然估计