伯努利似然函数是统计学和机器学习中的一个基本概念，特别是在二分类问题的背景下

什么是伯努利分布？

<aside> ℹ️ 伯努利分布是一种离散概率分布，适用于只能取两个可能结果的随机变量

$$ P(n) = \begin{cases} 1 - p & \text{for } n = 0 \\ p & \text{for } n = 1 \end{cases} $$

</aside>

似然函数

• 似然函数用于评估给定数据在假设的概率分布不同参数值下的出现可能性。
• 对于伯努利分布随机变量，其概率函数基于观测数据构建。

单次观察的伯努利似然

• 伯努利随机变量 $X$ 的概率质量函数（PMF）:

$$

L(p \mid x) = p^x (1 - p)^{1 - x}\quad x\in\set{0,1} $$

• 如果 $x=1$，则 $L(p \mid x) = p$
• 如果 $x = 0$，则 $L(p \mid x) = 1 - p$

多次观察的伯努利似然

• 考虑一系列独立的二元观察 $x_1, x_2, \ldots, x_n$。
• 给定这些观察值，参数 $p$ 的联合似然函数是各个单独似然的乘积

$$

⁍ $$

• 这个乘积可以分解为：

$$ L(p \mid x_1, x_2, \ldots, x_n) = p^{\sum_{i=1}^n x_i} (1 - p)^{n - \sum_{i=1}^n x_i} $$

对数似然

• 为了便于数学处理和优化，我们使用对数似然函数（类似 极大似然估计 ）：

$$

\begin{align*}\log L(p \mid x_1, x_2, \ldots, x_n) &= \sum_{i=1}^n \log(p^{x_i} (1 - p)^{1 - x_i})\\ &= \sum_{i=1}^n (x_i \log p + (1 - x_i) \log (1 - p)) \\ &= \left( \sum_{i=1}^n x_i \right) \log p + \left( n - \sum_{i=1}^n x_i \right) \log (1 - p) \end{align*} $$