按:这算是整理的课堂笔记

贝叶斯公式

\({\displaystyle P(\omega_{i}|x)={\frac {p(x,\omega_{i})}{p(x)}}={\frac {p(x|\omega_{i})\times P(\omega_{i})}{p(x)}}}\)

四种概率

先验概率:预先已知的或者可以估计的模式识别系统位于类型\(\omega\)的概率。\(P(\omega)\)

类条件概率密度:系统位于类型条件\(\omega\)下模式样本\(x\)出现的概率密度分布函数。\(P(x| \omega)\)

样本对所有类型的类条件概率密度之和不一定为1。

后验概率:系统在某具体的模式样本\(x\)条件下位于某种类型\(\omega\)的概率。\(P(\omega |x)\)

后验概率可以根据贝叶斯公式计算,直接用做分类判决的依据。

联合概率:两个事物\(x\)\(\omega\)联合出现的概率。\(p(x,\omega_{i})\)

\(p(x)=\sum_{j=1}^{n}p(x|\omega_{j})P(\omega_{j})\)

最小错误率贝叶斯决策

目的:减少分类错误的概率。

判决依据:后验概率的大小。

(两类)决策规则:

\[\text{If}\ P(\omega_{1}|x)\begin{matrix}>\\<\end{matrix} P(\omega_{2}|x),\ \text{then}\ x\in \begin{matrix}\omega_{1}\\ \omega_{2}\end{matrix}.\]

等价形式:

  • 求后验概率时,分母相同,只需比较分子\(p(x|\omega_{i})P(\omega_{i})\)
  • \(l(x)=\frac{p(x|\omega_{1})}{p(x|\omega_{2})}\)称为似然比,则决策规则变为\(l(x)\)\(\lambda\)(似然比阈值)比较,注意角标相反。
  • \(h(x)=-ln[l(x)]\)称为对数似然比。

最小风险贝叶斯决策

...

限定错误率的两类判别决策

...

最小最大决策

...