区块链技术博客
www.b2bchain.cn

【概率图模型】S08E10 从有向到无向:谈谈条件随机场求职学习资料

D0b2wT.gif

本文介绍了【概率图模型】S08E10 从有向到无向:谈谈条件随机场求职学习资料,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

我们来简要介绍一下无向图模型中的一个非常重要的模型:条件随机场。

1.隐马尔可夫模型中的一些问题

还记得前面我们隐马尔可夫模型中,我们老说的两个假设吗?老生常谈了,不厌其烦再谈一次。
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图1 隐马尔可夫模型结构

第一个假设:观测独立性假设。观测变量$x_t$的取值只与对应的隐变量$y_t$相关,而与其他的观测变量、隐变量均无关。

第二个假设:齐次马尔科夫假设。隐变量$y_t$的取值只与前一时刻的$y_{t-1}$相关,而与其他的观测变量、隐变量均无关。

这两个假设模型在很大程度上简化了计算,但是在有些场景之下这两个假设就不太合时宜。

例如词性标注问题,假设观测序列$X$代表一句话,而其中任意一个$x_t$代表的是句子中的一个词,而与之对应的$y_t$则是这个词的词性,例如:动词、名字、介词、代词等等,我们所关注的就是条件概率$p(Y|X)$,我们给定一个观测序列(句子),目标是找到一个标注序列$Y$,使得条件概率$p(Y|X)$值取得最大。

我们想想,在词性标注的背景下,观测独立性假设首先不合常理,应该是由观测变量$x_t$来决定隐变量$y_t$的取值,而非观测独立性所描述的反方向。

第二,齐次马尔科夫性也不再适用,因为词性隐变量$y_t$显然与词$x_t$、词性$y_{t-1}$都相关,比如“我们做运动”,那么$x_3$=”运动”,$y_3$的取值同时考虑$x_3$和$y_2$两方面因素,因此为名词。

2.线性链条件随机场

因此为了实现上述目标,打破这两个前提假设,就有了本讲要介绍无向图模型:条件随机场,这里我们仅简单的介绍线性链条件随机场的基本概念,让大家有一个初步印象。

他的概率图如下:
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图2 线性链条件随机场

从图中,我们看出所有的有向边都变成了无向边,这是最鲜明的一个特点,在序列标注问题中,我们一般会认为整个观测序列都会对某一个标注隐变量或多或少的产生影响,因此线性链条件随机场我们也会把他画成如下的形式。
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图3 线性链条件随机场

3.线性链条件随机场的概率与特征函数

无向图中的概率我们通过最大团和势函数来定义:

最大团的概念是,在概率图中任意两个节点都满足无向边相连的最大节点集合构成一个最大团,例如下图中:
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图4 最大团举例

这个图中,有三个最大团,分别是

$X_{c1}$:节点$1$、节点$2$和节点$3$构成最大团$1$;
$X_{c2}$:节点$2$、节点$3$和节点$4$构成最大团$2$;
$X_{c3}$:节点$3$和节点$5$构成最大团$3$;

那么在上面的线性链条件随机场的概率图中,$y_{t-1}$、$y_t$和$X_{1:T}$构成一个最大团,$t$从$1$取到$T-1$,一共有$T-1$个最大团。

那么,线性链条件随机场中的条件概率$p(Y|X)$就依照最大团来定义:

$$p(Y|X)=frac{1}{Z}prod_{i=i}^{T-1}varphi_i(x_{c_i})$$

其中:

我们来简要介绍一下无向图模型中的一个非常重要的模型:条件随机场。

1.隐马尔可夫模型中的一些问题

还记得前面我们隐马尔可夫模型中,我们老说的两个假设吗?老生常谈了,不厌其烦再谈一次。
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图1 隐马尔可夫模型结构

第一个假设:观测独立性假设。观测变量$x_t$的取值只与对应的隐变量$y_t$相关,而与其他的观测变量、隐变量均无关。

第二个假设:齐次马尔科夫假设。隐变量$y_t$的取值只与前一时刻的$y_{t-1}$相关,而与其他的观测变量、隐变量均无关。

这两个假设模型在很大程度上简化了计算,但是在有些场景之下这两个假设就不太合时宜。

例如词性标注问题,假设观测序列$X$代表一句话,而其中任意一个$x_t$代表的是句子中的一个词,而与之对应的$y_t$则是这个词的词性,例如:动词、名字、介词、代词等等,我们所关注的就是条件概率$p(Y|X)$,我们给定一个观测序列(句子),目标是找到一个标注序列$Y$,使得条件概率$p(Y|X)$值取得最大。

我们想想,在词性标注的背景下,观测独立性假设首先不合常理,应该是由观测变量$x_t$来决定隐变量$y_t$的取值,而非观测独立性所描述的反方向。

第二,齐次马尔科夫性也不再适用,因为词性隐变量$y_t$显然与词$x_t$、词性$y_{t-1}$都相关,比如“我们做运动”,那么$x_3$=”运动”,$y_3$的取值同时考虑$x_3$和$y_2$两方面因素,因此为名词。

2.线性链条件随机场

因此为了实现上述目标,打破这两个前提假设,就有了本讲要介绍无向图模型:条件随机场,这里我们仅简单的介绍线性链条件随机场的基本概念,让大家有一个初步印象。

他的概率图如下:
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图2 线性链条件随机场

从图中,我们看出所有的有向边都变成了无向边,这是最鲜明的一个特点,在序列标注问题中,我们一般会认为整个观测序列都会对某一个标注隐变量或多或少的产生影响,因此线性链条件随机场我们也会把他画成如下的形式。
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图3 线性链条件随机场

3.线性链条件随机场的概率与特征函数

无向图中的概率我们通过最大团和势函数来定义:

最大团的概念是,在概率图中任意两个节点都满足无向边相连的最大节点集合构成一个最大团,例如下图中:
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图4 最大团举例

这个图中,有三个最大团,分别是

$X_{c1}$:节点$1$、节点$2$和节点$3$构成最大团$1$;
$X_{c2}$:节点$2$、节点$3$和节点$4$构成最大团$2$;
$X_{c3}$:节点$3$和节点$5$构成最大团$3$;

那么在上面的线性链条件随机场的概率图中,$y_{t-1}$、$y_t$和$X_{1:T}$构成一个最大团,$t$从$1$取到$T-1$,一共有$T-1$个最大团。

那么,线性链条件随机场中的条件概率$p(Y|X)$就依照最大团来定义:

$$p(Y|X)=frac{1}{Z}prod_{i=i}^{T-1}varphi_i(x_{c_i})$$

其中:

我们来简要介绍一下无向图模型中的一个非常重要的模型:条件随机场。

1.隐马尔可夫模型中的一些问题

还记得前面我们隐马尔可夫模型中,我们老说的两个假设吗?老生常谈了,不厌其烦再谈一次。
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图1 隐马尔可夫模型结构

第一个假设:观测独立性假设。观测变量$x_t$的取值只与对应的隐变量$y_t$相关,而与其他的观测变量、隐变量均无关。

第二个假设:齐次马尔科夫假设。隐变量$y_t$的取值只与前一时刻的$y_{t-1}$相关,而与其他的观测变量、隐变量均无关。

这两个假设模型在很大程度上简化了计算,但是在有些场景之下这两个假设就不太合时宜。

例如词性标注问题,假设观测序列$X$代表一句话,而其中任意一个$x_t$代表的是句子中的一个词,而与之对应的$y_t$则是这个词的词性,例如:动词、名字、介词、代词等等,我们所关注的就是条件概率$p(Y|X)$,我们给定一个观测序列(句子),目标是找到一个标注序列$Y$,使得条件概率$p(Y|X)$值取得最大。

我们想想,在词性标注的背景下,观测独立性假设首先不合常理,应该是由观测变量$x_t$来决定隐变量$y_t$的取值,而非观测独立性所描述的反方向。

第二,齐次马尔科夫性也不再适用,因为词性隐变量$y_t$显然与词$x_t$、词性$y_{t-1}$都相关,比如“我们做运动”,那么$x_3$=”运动”,$y_3$的取值同时考虑$x_3$和$y_2$两方面因素,因此为名词。

2.线性链条件随机场

因此为了实现上述目标,打破这两个前提假设,就有了本讲要介绍无向图模型:条件随机场,这里我们仅简单的介绍线性链条件随机场的基本概念,让大家有一个初步印象。

他的概率图如下:
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图2 线性链条件随机场

从图中,我们看出所有的有向边都变成了无向边,这是最鲜明的一个特点,在序列标注问题中,我们一般会认为整个观测序列都会对某一个标注隐变量或多或少的产生影响,因此线性链条件随机场我们也会把他画成如下的形式。
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图3 线性链条件随机场

3.线性链条件随机场的概率与特征函数

无向图中的概率我们通过最大团和势函数来定义:

最大团的概念是,在概率图中任意两个节点都满足无向边相连的最大节点集合构成一个最大团,例如下图中:
【概率图模型】S08E10 从有向到无向:谈谈条件随机场

图4 最大团举例

这个图中,有三个最大团,分别是

$X_{c1}$:节点$1$、节点$2$和节点$3$构成最大团$1$;
$X_{c2}$:节点$2$、节点$3$和节点$4$构成最大团$2$;
$X_{c3}$:节点$3$和节点$5$构成最大团$3$;

那么在上面的线性链条件随机场的概率图中,$y_{t-1}$、$y_t$和$X_{1:T}$构成一个最大团,$t$从$1$取到$T-1$,一共有$T-1$个最大团。

那么,线性链条件随机场中的条件概率$p(Y|X)$就依照最大团来定义:

$$p(Y|X)=frac{1}{Z}prod_{i=i}^{T-1}varphi_i(x_{c_i})$$

其中:

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 【概率图模型】S08E10 从有向到无向:谈谈条件随机场求职学习资料
分享到: 更多 (0)
D0b2wT.gif

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们