计算到达状态3需要的步骤数目的均值、方差和概率密度函数：

概率密度函数：

累积分布函数：

第一通道的平均时间和方差：

连续马尔可夫过程的第一通道时间分布：

概率密度函数：

分布的均值：

与模拟所得的结果比较：

特征函数：

计算事件概率：

基于到达目标状态的条件，求第一通道时间的均值和方差：

与过程的模拟相比较：

从分布生成伪随机数的集合：

比较直方图和概率密度函数：

出租车停靠在机场或者城市里. 从城市出发，下一站是机场的概率是 1/4，去城市里其它地方的概率是 3/4. 从机场出发，下一站总是城市. 使用离散马尔可夫过程，对出租车建模，其中状态1表示城市，状态2表示机场，从机场出发：

求直至机场出租车下次到达机场的预期旅程次数：

一个赌徒，从3个单位开始，每个步骤投掷1个单位，赢的概率是 0.4，目标是在停止之前赢7个单位. 直至赌徒达到目标或者破产的期望游玩次数. 赌博过程可以使用离散马尔可夫过程建模，其中状态 表示赌徒有 个单位：

模拟某些典型赌博场景：

期望的游玩时间：

游玩时间的完全分布：

游玩时间的概率是 10 或者更少：

求直至您看到全部六个正面朝上，平均需要投掷多少次骰子：

当投掷一个无偏骰子时，平均而言 HHT 出现比 HTT 出现需要更长时间：

一个粒子在立方体的八个顶点之间通过对称随机游走移动. 设 为初始顶点，而 为相反顶点. 计算：

• 直至粒子返回 的期望步骤数目

• 直至第一次访问 的期望步骤数目

如果从 开始，在返回 之前的期望步骤数目：

如果从 开始，直至第一次访问 的期望步骤数目：

对不可约过程，使用平均击中时间来对期望覆盖时间进行限制：

哈勃太空望远镜携带了六个陀螺仪，至少有三个完全满足准确度要求. 陀螺仪的运行时间是独立的，并且服从故障率为 的指数分布. 如果第四个陀螺仪出现故障，则望远镜进入睡眠模式，在这种模式下暂停进一步观察. 它需要一个均值为 的指数分布的时间来把望远镜进入睡眠模式，在此之后地球上的基站接受到一个睡眠信号，并且进入飞行器发射准备阶段. 在望远镜的维修人员到达前，它需要均值为 的指数分布时间，并修复陀螺仪稳定单元. 与此同时，其他两个陀螺仪可能出现故障. 如果最后一个陀螺仪出现故障时，该望远镜可能崩溃. 假设 、 和 ，所有这些都有逆年的单位：

求该望远镜将在未来10年内崩溃的概率：

求在10年没有达到睡眠模式的概率（不要求航天飞机任务）：

从状态1到状态3的平均步骤数目是2：

由于过程是确定性的，方差为零：

具有无圈对角转换率矩阵的连续过程的均值和方差：

当目标不是一个吸收状态时，返回条件分布：

假定过程达到目标状态，并且没有限制在状态1：

ExponentialDistribution 或者其他相位类型分别的自动简化：

ErlangDistribution:

HyperexponentialDistribution:

CoxianDistribution:

这里，对于任意阶数的 的矩，没有可用的解析形式：

通过指定 的值获取矩：