区块链技术博客
www.b2bchain.cn

【算法模型】S07E07 朴素贝叶斯:立足条件独立性假设求职学习资料

D0b2wT.gif

本文介绍了【算法模型】S07E07 朴素贝叶斯:立足条件独立性假设求职学习资料,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

1.高斯判别的前提假设回顾

和高斯判别分析一样,朴素贝叶斯分类器也是一种生成模型,并且也是针对联合概率进行建模:

$$y=argmax_{y in {0,1}}~p(y|x)=argmax~p(y)p(x|y)$$

并且都对先验概率$p(x|y)$有着非常强的假设前提,也正是因为这些很强的假设前提,才让我们的模型变得简化,怎么说呢?

还记得高斯判别分析吧,他假设在指定类别$y=C_i$的情况下,概率$p(x|y=C_i)$满足高斯分布,高斯分布的维度和样本特征的维度$p$一致,不同类别的高斯分布仅仅只有均值不同,但是协方差矩阵都是一样的,如下图所示。

【算法模型】S07E07 朴素贝叶斯:立足条件独立性假设

图1 两分类高斯判别模型图示

从上图中我们可以看出,对于平面上任意一个点,他既可能属于$C_1$,也可能属于$C_2$,那么到底属于哪一类,就要看$p(y=C_1)p(x|y=C_1)$和$p(y=C_2)p(x|y=C_2)$谁更大。

高斯判别分析最重要的假设,我们再说一遍,就是$p(x|y=C_i)$是一系列均值不同,协方差相同的高斯分布。

2.朴素贝叶斯的前提假设

而朴素贝叶斯也有一个前提假设,同样我们也假设随机变量$y$表示分类,$yin {0,1}$,而样本$x$是一个$p$维的随机向量,$xin R^p$,代表了样本的$p$个特征属性,那给定一个具体的样本$x$的时候,如何判定他具体应该属于哪一个类别?

还是那个大家熟悉的老生常谈的式子:

我们假定给定一组样本:${(x_i,y_i)}_{i=1}^N$,其中$x_iin R^p$,$y_i in {0,1}$,这里也假定是一个二分类问题,当然多分类问题的道理也是一样,没有什么不同。

$$y=argmax_{y in {0,1}}~p(y|x)=argmax~p(y)p(x|y)$$

这里问题的关键仍然是$p(x|y)$,高斯判别分析里,我们假设给定$y$的分类取值的情况下,$x|y$服从一个$p$维的高斯分布,然后就得到了$p(x|y)$的表达式,使得我们可以获得似然函数的表达式,而在朴素贝叶斯分类器当中呢?我们也有一个假设,那就是条件独立性假设,即在给定分类$y$的情况下,样本$x$的$p$个维度属性之间是独立的:

$$x_i perp x_j|y$$

那么,有了条件独立的假设之后,我们就很容易的对$p(x|y)$进行处理了,即:
$$argmax~p(y)p(x|y)\=argmax~p(y)p(x_1,x_2,x_3,…,x_p|y)\=argmax~p(y)p(x_1|y)p(x_2|y)p(x_3|y)…p(x_p|y)$$

以上,就是通过条件独立性进行的式子处理,那么后面再该怎么办?

我们一样需要求得最大的似然函数值,但是这里我们不需要像高斯判别分析中那样进行复杂的求导运算来对参数进行估计,这里无论是$p(y)$还是$p(x_i|y)$都可以通过我们的样本集进行直接统计得到。

3.贝叶斯分类器举例

这里找了一个简单的小例子来印证上面的话:
【算法模型】S07E07 朴素贝叶斯:立足条件独立性假设

1.高斯判别的前提假设回顾

和高斯判别分析一样,朴素贝叶斯分类器也是一种生成模型,并且也是针对联合概率进行建模:

$$y=argmax_{y in {0,1}}~p(y|x)=argmax~p(y)p(x|y)$$

并且都对先验概率$p(x|y)$有着非常强的假设前提,也正是因为这些很强的假设前提,才让我们的模型变得简化,怎么说呢?

还记得高斯判别分析吧,他假设在指定类别$y=C_i$的情况下,概率$p(x|y=C_i)$满足高斯分布,高斯分布的维度和样本特征的维度$p$一致,不同类别的高斯分布仅仅只有均值不同,但是协方差矩阵都是一样的,如下图所示。

【算法模型】S07E07 朴素贝叶斯:立足条件独立性假设

图1 两分类高斯判别模型图示

从上图中我们可以看出,对于平面上任意一个点,他既可能属于$C_1$,也可能属于$C_2$,那么到底属于哪一类,就要看$p(y=C_1)p(x|y=C_1)$和$p(y=C_2)p(x|y=C_2)$谁更大。

高斯判别分析最重要的假设,我们再说一遍,就是$p(x|y=C_i)$是一系列均值不同,协方差相同的高斯分布。

2.朴素贝叶斯的前提假设

而朴素贝叶斯也有一个前提假设,同样我们也假设随机变量$y$表示分类,$yin {0,1}$,而样本$x$是一个$p$维的随机向量,$xin R^p$,代表了样本的$p$个特征属性,那给定一个具体的样本$x$的时候,如何判定他具体应该属于哪一个类别?

还是那个大家熟悉的老生常谈的式子:

我们假定给定一组样本:${(x_i,y_i)}_{i=1}^N$,其中$x_iin R^p$,$y_i in {0,1}$,这里也假定是一个二分类问题,当然多分类问题的道理也是一样,没有什么不同。

$$y=argmax_{y in {0,1}}~p(y|x)=argmax~p(y)p(x|y)$$

这里问题的关键仍然是$p(x|y)$,高斯判别分析里,我们假设给定$y$的分类取值的情况下,$x|y$服从一个$p$维的高斯分布,然后就得到了$p(x|y)$的表达式,使得我们可以获得似然函数的表达式,而在朴素贝叶斯分类器当中呢?我们也有一个假设,那就是条件独立性假设,即在给定分类$y$的情况下,样本$x$的$p$个维度属性之间是独立的:

$$x_i perp x_j|y$$

那么,有了条件独立的假设之后,我们就很容易的对$p(x|y)$进行处理了,即:
$$argmax~p(y)p(x|y)\=argmax~p(y)p(x_1,x_2,x_3,…,x_p|y)\=argmax~p(y)p(x_1|y)p(x_2|y)p(x_3|y)…p(x_p|y)$$

以上,就是通过条件独立性进行的式子处理,那么后面再该怎么办?

我们一样需要求得最大的似然函数值,但是这里我们不需要像高斯判别分析中那样进行复杂的求导运算来对参数进行估计,这里无论是$p(y)$还是$p(x_i|y)$都可以通过我们的样本集进行直接统计得到。

3.贝叶斯分类器举例

这里找了一个简单的小例子来印证上面的话:
【算法模型】S07E07 朴素贝叶斯:立足条件独立性假设

1.高斯判别的前提假设回顾

和高斯判别分析一样,朴素贝叶斯分类器也是一种生成模型,并且也是针对联合概率进行建模:

$$y=argmax_{y in {0,1}}~p(y|x)=argmax~p(y)p(x|y)$$

并且都对先验概率$p(x|y)$有着非常强的假设前提,也正是因为这些很强的假设前提,才让我们的模型变得简化,怎么说呢?

还记得高斯判别分析吧,他假设在指定类别$y=C_i$的情况下,概率$p(x|y=C_i)$满足高斯分布,高斯分布的维度和样本特征的维度$p$一致,不同类别的高斯分布仅仅只有均值不同,但是协方差矩阵都是一样的,如下图所示。

【算法模型】S07E07 朴素贝叶斯:立足条件独立性假设

图1 两分类高斯判别模型图示

从上图中我们可以看出,对于平面上任意一个点,他既可能属于$C_1$,也可能属于$C_2$,那么到底属于哪一类,就要看$p(y=C_1)p(x|y=C_1)$和$p(y=C_2)p(x|y=C_2)$谁更大。

高斯判别分析最重要的假设,我们再说一遍,就是$p(x|y=C_i)$是一系列均值不同,协方差相同的高斯分布。

2.朴素贝叶斯的前提假设

而朴素贝叶斯也有一个前提假设,同样我们也假设随机变量$y$表示分类,$yin {0,1}$,而样本$x$是一个$p$维的随机向量,$xin R^p$,代表了样本的$p$个特征属性,那给定一个具体的样本$x$的时候,如何判定他具体应该属于哪一个类别?

还是那个大家熟悉的老生常谈的式子:

我们假定给定一组样本:${(x_i,y_i)}_{i=1}^N$,其中$x_iin R^p$,$y_i in {0,1}$,这里也假定是一个二分类问题,当然多分类问题的道理也是一样,没有什么不同。

$$y=argmax_{y in {0,1}}~p(y|x)=argmax~p(y)p(x|y)$$

这里问题的关键仍然是$p(x|y)$,高斯判别分析里,我们假设给定$y$的分类取值的情况下,$x|y$服从一个$p$维的高斯分布,然后就得到了$p(x|y)$的表达式,使得我们可以获得似然函数的表达式,而在朴素贝叶斯分类器当中呢?我们也有一个假设,那就是条件独立性假设,即在给定分类$y$的情况下,样本$x$的$p$个维度属性之间是独立的:

$$x_i perp x_j|y$$

那么,有了条件独立的假设之后,我们就很容易的对$p(x|y)$进行处理了,即:
$$argmax~p(y)p(x|y)\=argmax~p(y)p(x_1,x_2,x_3,…,x_p|y)\=argmax~p(y)p(x_1|y)p(x_2|y)p(x_3|y)…p(x_p|y)$$

以上,就是通过条件独立性进行的式子处理,那么后面再该怎么办?

我们一样需要求得最大的似然函数值,但是这里我们不需要像高斯判别分析中那样进行复杂的求导运算来对参数进行估计,这里无论是$p(y)$还是$p(x_i|y)$都可以通过我们的样本集进行直接统计得到。

3.贝叶斯分类器举例

这里找了一个简单的小例子来印证上面的话:
【算法模型】S07E07 朴素贝叶斯:立足条件独立性假设

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 【算法模型】S07E07 朴素贝叶斯:立足条件独立性假设求职学习资料
分享到: 更多 (0)
D0b2wT.gif

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们