区块链技术博客
www.b2bchain.cn

【算法模型】S07E05 从逻辑回归谈谈判别和生成求职学习资料

本文介绍了【算法模型】S07E05 从逻辑回归谈谈判别和生成求职学习资料,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

1.线性回归与线性分类

上一讲我们介绍的是线性回归的有关内容,这一讲,我们来介绍线性分类的一些模型,从整体上来看,我们如何来把握线性回归和线性分类的关联?

我们知道线性回归:就是$w^Tx+b$,得到的结果$y=w^Tx+b$,他是一个属于$(-infty,infty)$的实数$R$,而线性分类问题(我们以二分类为例),则是进一步需要将$w^Tx+b$进行映射,这里分为两类:

第一类是硬分类,映射的结果是一个二值集合${0,1}$中的一个值,硬分类不是我们介绍的重点;

第二类是软分类,映射的结果是$[0,1]$区间上的一个值,软分类的“软”就体现在这,他不是硬生生的告诉你到底是类别0还是类别1,而是得到一个概率值,表示取得分类的概率,哪个分类的概率大,我们就取哪一个。

2.软分类模型:判别与生成

而我们接下来几节中要介绍线性分类模型:逻辑回归、高斯判别分析和朴素贝叶斯分类器,都属于软分类。

而软分类又分为判别式模型和生成式模型,突然一下感觉概念好多,这两类又有什么不同呢?

逻辑回归属于判别式模型,直接对条件概率$p(Y|X)$进行建模、学习和求解;而后面两个模型:高斯判别分析和朴素贝叶斯则是生成式模型,他是对联合概率$p(X,Y)$进行建模。

那么,什么称之为对条件概率$p(Y|X)$建模,什么又叫作对联合概率$p(X,Y)$建模?我们通过式子来看。

3.逻辑回归的基本建模

我们以二分类问题为例,在逻辑回归当中, 我们关注的是给定一个样本$x$,如何去求得$p(y=1|x)$的概率,这里我们利用的就是一个称之为$sigmoid$的激活函数$sigma(z)=frac{1}{1+e^{-z}}$,其中$z=w^Tx$。通过他完成了位于$(-infty,+infty)$范围内的$w^Tx$到一个位于$[0,1]$之间概率值的转换。

我们看看$sigma(z)=frac{1}{1+e^{-z}}$的函数图像就明白了:

代码片段:

import matplotlib.pyplot as plt import numpy as np import seaborn seaborn.set()  def sigmoid(z):     return 1/(1+np.e**(-z))  z = np.linspace(-7.5, 7.5, 1000) plt.plot(z, sigmoid(z), color='r', label='sigmoid(z)') plt.ylim(-0.2, 1.2) plt.legend() plt.show()

运行结果:
【算法模型】S07E05 从逻辑回归谈谈判别和生成

图1 sigmoid函数示意图

我们发现:函数的定义域是$(-infty,+infty)$,也就是位于整个实数域上的$z=w^Tx$被映射到了$[0,1]$范围内,也就可以对$p(y=1|x)$的概率值进行表示。

最终,我们来明确一下逻辑回归中的二分类条件概率表达式:

$$p_1=p(y=1|x)=sigma(w^Tx)=frac{1}{1+e^{-w^Tx}}=varphi(x;w)$$

$$p_0=p(y=0|x)=1-p(y=1|x)=frac{e^{-w^Tx}}{1+e^{-w^Tx}}=1-varphi(x;w)$$

那么,综合起来,把这两个分类的条件概率统一到一个表达式中,我们就可以写作是:

$$p(y|x)=p_1^{y}p_0^{1-y}$$

1.线性回归与线性分类

上一讲我们介绍的是线性回归的有关内容,这一讲,我们来介绍线性分类的一些模型,从整体上来看,我们如何来把握线性回归和线性分类的关联?

我们知道线性回归:就是$w^Tx+b$,得到的结果$y=w^Tx+b$,他是一个属于$(-infty,infty)$的实数$R$,而线性分类问题(我们以二分类为例),则是进一步需要将$w^Tx+b$进行映射,这里分为两类:

第一类是硬分类,映射的结果是一个二值集合${0,1}$中的一个值,硬分类不是我们介绍的重点;

第二类是软分类,映射的结果是$[0,1]$区间上的一个值,软分类的“软”就体现在这,他不是硬生生的告诉你到底是类别0还是类别1,而是得到一个概率值,表示取得分类的概率,哪个分类的概率大,我们就取哪一个。

2.软分类模型:判别与生成

而我们接下来几节中要介绍线性分类模型:逻辑回归、高斯判别分析和朴素贝叶斯分类器,都属于软分类。

而软分类又分为判别式模型和生成式模型,突然一下感觉概念好多,这两类又有什么不同呢?

逻辑回归属于判别式模型,直接对条件概率$p(Y|X)$进行建模、学习和求解;而后面两个模型:高斯判别分析和朴素贝叶斯则是生成式模型,他是对联合概率$p(X,Y)$进行建模。

那么,什么称之为对条件概率$p(Y|X)$建模,什么又叫作对联合概率$p(X,Y)$建模?我们通过式子来看。

3.逻辑回归的基本建模

我们以二分类问题为例,在逻辑回归当中, 我们关注的是给定一个样本$x$,如何去求得$p(y=1|x)$的概率,这里我们利用的就是一个称之为$sigmoid$的激活函数$sigma(z)=frac{1}{1+e^{-z}}$,其中$z=w^Tx$。通过他完成了位于$(-infty,+infty)$范围内的$w^Tx$到一个位于$[0,1]$之间概率值的转换。

我们看看$sigma(z)=frac{1}{1+e^{-z}}$的函数图像就明白了:

代码片段:

import matplotlib.pyplot as plt import numpy as np import seaborn seaborn.set()  def sigmoid(z):     return 1/(1+np.e**(-z))  z = np.linspace(-7.5, 7.5, 1000) plt.plot(z, sigmoid(z), color='r', label='sigmoid(z)') plt.ylim(-0.2, 1.2) plt.legend() plt.show()

运行结果:
【算法模型】S07E05 从逻辑回归谈谈判别和生成

图1 sigmoid函数示意图

我们发现:函数的定义域是$(-infty,+infty)$,也就是位于整个实数域上的$z=w^Tx$被映射到了$[0,1]$范围内,也就可以对$p(y=1|x)$的概率值进行表示。

最终,我们来明确一下逻辑回归中的二分类条件概率表达式:

$$p_1=p(y=1|x)=sigma(w^Tx)=frac{1}{1+e^{-w^Tx}}=varphi(x;w)$$

$$p_0=p(y=0|x)=1-p(y=1|x)=frac{e^{-w^Tx}}{1+e^{-w^Tx}}=1-varphi(x;w)$$

那么,综合起来,把这两个分类的条件概率统一到一个表达式中,我们就可以写作是:

$$p(y|x)=p_1^{y}p_0^{1-y}$$

1.线性回归与线性分类

上一讲我们介绍的是线性回归的有关内容,这一讲,我们来介绍线性分类的一些模型,从整体上来看,我们如何来把握线性回归和线性分类的关联?

我们知道线性回归:就是$w^Tx+b$,得到的结果$y=w^Tx+b$,他是一个属于$(-infty,infty)$的实数$R$,而线性分类问题(我们以二分类为例),则是进一步需要将$w^Tx+b$进行映射,这里分为两类:

第一类是硬分类,映射的结果是一个二值集合${0,1}$中的一个值,硬分类不是我们介绍的重点;

第二类是软分类,映射的结果是$[0,1]$区间上的一个值,软分类的“软”就体现在这,他不是硬生生的告诉你到底是类别0还是类别1,而是得到一个概率值,表示取得分类的概率,哪个分类的概率大,我们就取哪一个。

2.软分类模型:判别与生成

而我们接下来几节中要介绍线性分类模型:逻辑回归、高斯判别分析和朴素贝叶斯分类器,都属于软分类。

而软分类又分为判别式模型和生成式模型,突然一下感觉概念好多,这两类又有什么不同呢?

逻辑回归属于判别式模型,直接对条件概率$p(Y|X)$进行建模、学习和求解;而后面两个模型:高斯判别分析和朴素贝叶斯则是生成式模型,他是对联合概率$p(X,Y)$进行建模。

那么,什么称之为对条件概率$p(Y|X)$建模,什么又叫作对联合概率$p(X,Y)$建模?我们通过式子来看。

3.逻辑回归的基本建模

我们以二分类问题为例,在逻辑回归当中, 我们关注的是给定一个样本$x$,如何去求得$p(y=1|x)$的概率,这里我们利用的就是一个称之为$sigmoid$的激活函数$sigma(z)=frac{1}{1+e^{-z}}$,其中$z=w^Tx$。通过他完成了位于$(-infty,+infty)$范围内的$w^Tx$到一个位于$[0,1]$之间概率值的转换。

我们看看$sigma(z)=frac{1}{1+e^{-z}}$的函数图像就明白了:

代码片段:

import matplotlib.pyplot as plt import numpy as np import seaborn seaborn.set()  def sigmoid(z):     return 1/(1+np.e**(-z))  z = np.linspace(-7.5, 7.5, 1000) plt.plot(z, sigmoid(z), color='r', label='sigmoid(z)') plt.ylim(-0.2, 1.2) plt.legend() plt.show()

运行结果:
【算法模型】S07E05 从逻辑回归谈谈判别和生成

图1 sigmoid函数示意图

我们发现:函数的定义域是$(-infty,+infty)$,也就是位于整个实数域上的$z=w^Tx$被映射到了$[0,1]$范围内,也就可以对$p(y=1|x)$的概率值进行表示。

最终,我们来明确一下逻辑回归中的二分类条件概率表达式:

$$p_1=p(y=1|x)=sigma(w^Tx)=frac{1}{1+e^{-w^Tx}}=varphi(x;w)$$

$$p_0=p(y=0|x)=1-p(y=1|x)=frac{e^{-w^Tx}}{1+e^{-w^Tx}}=1-varphi(x;w)$$

那么,综合起来,把这两个分类的条件概率统一到一个表达式中,我们就可以写作是:

$$p(y|x)=p_1^{y}p_0^{1-y}$$

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 【算法模型】S07E05 从逻辑回归谈谈判别和生成求职学习资料
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们