按:这算是整理的课堂笔记

贝叶斯公式

${\displaystyle P(\omega_{i}|x)={\frac {p(x,\omega_{i})}{p(x)}}={\frac {p(x|\omega_{i})\times P(\omega_{i})}{p(x)}}}$

四种概率

先验概率:预先已知的或者可以估计的模式识别系统位于类型$\omega$的概率。$P(\omega)$

类条件概率密度:系统位于类型条件$\omega$下模式样本$x$出现的概率密度分布函数。$P(x| \omega)$

样本对所有类型的类条件概率密度之和不一定为1。

后验概率:系统在某具体的模式样本$x$条件下位于某种类型$\omega$的概率。$P(\omega |x)$

后验概率可以根据贝叶斯公式计算,直接用做分类判决的依据。

联合概率:两个事物$x$与$\omega$联合出现的概率。$p(x,\omega_{i})$

$p(x)=\sum_{j=1}^{n}p(x|\omega_{j})P(\omega_{j})$

最小错误率贝叶斯决策

目的:减少分类错误的概率。

判决依据:后验概率的大小。

(两类)决策规则:

$$\text{If}\ P(\omega_{1}|x)\begin{matrix}>\<\end{matrix} P(\omega_{2}|x),\ \text{then}\ x\in \begin{matrix}\omega_{1}\ \omega_{2}\end{matrix}.$$

等价形式:

  • 求后验概率时,分母相同,只需比较分子$p(x|\omega_{i})P(\omega_{i})$
  • $l(x)=\frac{p(x|\omega_{1})}{p(x|\omega_{2})}$称为似然比,则决策规则变为$l(x)$与$\lambda$(似然比阈值)比较,注意角标相反。
  • $h(x)=-ln[l(x)]$称为对数似然比。

最小风险贝叶斯决策

限定错误率的两类判别决策

最小最大决策