按：这算是整理的课堂笔记

贝叶斯公式

\[{\displaystyle P(\omega_{i}|x)={\frac {p(x,\omega_{i})}{p(x)}}={\frac {p(x|\omega_{i})\times P(\omega_{i})}{p(x)}}}\]

四种概率

先验概率：预先已知的或者可以估计的模式识别系统位于类型\(\omega\)的概率。 \(P(\omega)\)

类条件概率密度：系统位于类型条件\(\omega\)下模式样本\(x\)出现的概率密度分布函数。\(P(x| \omega)\)

样本对所有类型的类条件概率密度之和不一定为1。

后验概率：系统在某具体的模式样本\(x\)条件下位于某种类型\(\omega\)的概率。\(P(\omega |x)\)

后验概率可以根据贝叶斯公式计算，直接用做分类判决的依据。

联合概率：两个事物\(x\)与\(\omega\)联合出现的概率。\(p(x,\omega_{i})\)

\[p(x)=\sum_{j=1}^{n}p(x|\omega_{j})P(\omega_{j})\]

最小错误率贝叶斯决策

目的：减少分类错误的概率。

判决依据：后验概率的大小。

（两类）决策规则：

\[\text{If}\ P(\omega_{1}|x)\begin{matrix}>\\<\end{matrix} P(\omega_{2}|x),\ \text{then}\ x\in \begin{matrix}\omega_{1}\\ \omega_{2}\end{matrix}.\]

等价形式：

  • 求后验概率时，分母相同，只需比较分子\(p(x|\omega_{i})P(\omega_{i})\)
  • \(l(x)=\frac{p(x|\omega_{1})}{p(x|\omega_{2})}\)称为似然比，则决策规则变为\(l(x)\)与\(\lambda\)（似然比阈值）比较，注意角标相反。
  • \(h(x)=-ln[l(x)]\)称为对数似然比。

最小风险贝叶斯决策

...

限定错误率的两类判别决策

...

最小最大决策

...