沙克 » dynamic programming http://www.suzker.cn 可怜之人必有可恨之处 Sun, 31 Jul 2011 15:40:25 +0000 en hourly 1 http://wordpress.org/?v=3.2.1 HMM中的维特比解码(Viterbi Agorithm) http://www.suzker.cn/computervision/viterbi-algorithm-for-hmm.html http://www.suzker.cn/computervision/viterbi-algorithm-for-hmm.html#comments Fri, 27 Aug 2010 03:40:14 +0000 Suz http://www.suzker.cn/?p=393 . . . → Read More: HMM中的维特比解码(Viterbi Agorithm)]]>

在之前的文章中，已经分别介绍了隐马科夫模型（HMM）的概况以及HMM中广泛应用的一种解决估值问题的算法：前向法(Forward Algorithm)。在本文将介绍解决HMM另外一个问题 – 解码问题 – 的算法：维特比算法(Viterbi Agorithm)，也属于HMM中的一个基本算法，而且算法本身很像Forward的这个概念，理解起来相对容易。

本文目录：

  • Page 1: 前文提要
  • Page 2: 一般算法与高效维的特比算法
  • Page 3: 实例与伪代码
  • Page 4: 参考资料

Last Modified：2010/12/25 16:57 All rights reserved.

前文提要：

在之前的HMM文章中提到，HMM模型将涉及到3个问题：

  1. 给定一个观察到得序列O，及参数\lambda，求出P(O|\lambda)，即发生这种观察序列的可能性。对应上面例子中，即是我给定一个最终确定了的水果序列S，求我选到这样的水果的可能性。
  2. 给定一个观察到的序列O，及参数\lambda，求出最有可能产生这种序列的状态序列S。对应上面例子中，即我给定一个最终确定了的水果序列S，求我最可能的选水果筐路径。
  3. 同样给定一个观察得到的序列O，求如何调整参数\lambda，使P(O|\lambda)最大。

对于问题1，我们已经讨论过Forward Algorithm并成功高效地解决了这个问题。接下来我们将讨论解决平时称为“解码问题”的问题二的解决方法。

在问题二中，对应选水果的例子，我们需要解决的问题是，当我们知道最后选出来的水果序列，以及框选水果(Emission Matrix)、框转框(Transition Matrix)这两个概率，求可能选出这种水果序列的框路径。

* 在讨论这个问题之前，可以先复习一下之前的前向法，因为整体思路跟前向法类似。

]]> http://www.suzker.cn/computervision/viterbi-algorithm-for-hmm.html/feed 2 HMM中的前向法(Forward Agorithm) http://www.suzker.cn/computervision/forward-agorithm-for-hmm.html http://www.suzker.cn/computervision/forward-agorithm-for-hmm.html#comments Fri, 09 Jul 2010 09:55:15 +0000 Suz http://www.suzker.cn/?p=209 S2 > S1 > S3 > S2)这个路径与(S1 > S2 > S1 > S3 > S4)这个路径的概率时候，这两个路径的t<=4的那些状态(S1 > S2 > S1 > S3 >..)其实是相同的。我们的加速算法，切入点就是这里，去掉重复的地方使速度变快，复杂度降低。... . . . → Read More: HMM中的前向法(Forward Agorithm)]]>

在假期的前几天颓废了好一阵之后，终于重新拾起未完成的事情。根据计划是按照HMM -> MEM -> CRF -> hCRF 这个伟大目标前进的。HMM已经在之前写了一个文章(惊喜地发现在google里面搜“HMM模型”，它出现在了第一页 ;-) )，这里写的是HMM中，解决第一个问题，即估值问题的一个快速算法 – 前向法(Forward Agorithm)。过几天还会陆续完全弄懂、写好Viterbi与Baum-Welch算法。

本文目录：

  • Page 1: 前文提要
  • Page 2: 普通的穷举算法
  • Page 3: 可行的替代算法 – 前向法
  • Page 4: 参考书目
Last Modified：2010/08/29 23:40 All rights reserved.

前文提要：

在之前的HMM文章中提到，HMM模型将涉及到3个问题：

  1. 给定一个观察到得序列O，及参数\lambda，求出P(O|\lambda)，即发生这种观察序列的可能性。对应上面例子中，即是我给定一个最终确定了的水果序列S，求我选到这样的水果的可能性。
  2. 给定一个观察到的序列O，及参数\lambda，求出最有可能产生这种序列的状态序列S。对应上面例子中，即我给定一个最终确定了的水果序列S，求我最可能的选水果筐路径。
  3. 同样给定一个观察得到的序列O，求如何调整参数\lambda，使P(O|\lambda)最大。

这里讨论的将会是第一个问题，即所谓的估值问题。

再次，在问题一中我们的目标是求出可见序列O在参数集\lambda(包含Transition Matrix、Emission Matrix、N、M、Pi)中的发生概率，即求P(O|\lambda)，请着眼于这个概率，以下将以P(O|\lambda)作为主角。

(请留意换页… Next Page »)

]]> http://www.suzker.cn/computervision/forward-agorithm-for-hmm.html/feed 1