对重复投掷一个硬币的过程建模，使用离散马可夫过程，其中正面朝上的概率是 0.6，反面朝上的概率是 0.4:

模拟 50 个硬币投掷：

一个正反面出现概率不同的硬币，正面朝上的概率是 ，将其投掷 次. 求连续正面朝上次数最多并且次数超过给定的 的概率. 这可以使用离散马可夫过程建模，其中状态 表示连续出现 次正面朝上. 当 、 和 时，转移矩阵如下所示：

模拟连续出现正面朝上的次数. 如果连续出现10次正面朝上，不重新开始计数：

在投掷硬币 100 次后，至少连续出现 10 次正面朝上的概率：

一个赌徒，从三个筹码开始，每一步下一个筹码，赢的概率是 0.4，目标是在破产前赢七个筹码. 状态是从 1 到 8 的整数，表示赌徒的财富加 1：

模拟过程：

求赌徒有 个单位的期望次数：

将上面的结果与从模拟中判断得到的比较：

求直至赌徒达到目标或者破产的期望时间：

在赌徒达到目标或者破产前访问过的状态总数：

用仿真验证答案：

求赢的概率：

求平均需要投掷多少次骰子，你才能看到所有六个面：

求 次投掷看到所有面的概率：

使用正反面概率相同的硬币，求出现序列“反正正”的马可夫过程：

使用正反面概率相同的硬币，求出现序列“正正正”的马可夫过程：

平均而言，出现“正正正”比出现“反正正”需要的时间更长：

两个选手打网球，假设发球员赢一个点数的概率是 . 存在 17 种可能的状态：

可视化 时的随机游走图:

如果 ，求发球员赢得比赛的概率:

求达到吸收状态的平均时间，即打的点数：

求访问过的状态的平均数目：

求打成平手的平均次数：

在掷骰子游戏中，玩家掷一对骰子并将点数相加. 第一次投掷时，如果他掷出 7 或者 11，则他获胜，如果掷出 2、3 或者 12 就输了，而任何其他数字称为一个点数，并且继续投掷. 在后面的投掷中，如果玩家掷出点数则获胜，如果掷出 7 则失败. 状态是：开始、赢、输、p4、p5、p6、p8、p9 或 p10. 他从不返回开始状态，而赢和输都是吸收状态. 下面的分布表示投掷一对骰子：

如果第一次投出 7 或者 11，他就赢了：

如果第一次投出 2、3 或者 12，就输了：

在第一次投掷时他进入“点”状态，如果投出任何其他数字就继续比赛：

从点状态开始输的概率：

保持相同点状态的概率是：

转移矩阵是：

输的概率大于赢的概率：

骰子的平均点数：

一个简单的天气模型：给定今天下雨，明天也下雨的概率是 0.7；给定今天没有下雨，明天下雨的概率是 0.4. 给定今天下雨，使用离散马可夫过程表示该模型，求从今天开始下四天雨的概率. 天气的表示：

四天内下雨的概率：

基于前两天是否下雨建立一个气候模型. 假设如果今天和昨天下雨，那么明天下雨的概率是 0.7，如果今天下雨但是昨天没有则概率为 0.5，如果昨天下雨今天没有，概率为 0.4，如果昨天或者今天都没下雨，概率是0.2. 使用产品状态空间 ，其中 表明昨天是否下雨， 表明今天是否下雨：

剩下的情况不会发生：

所得的转移概率矩阵：

所得的离散马可夫过程：

四天下雨的概率：

求连续两天下雨的长期概率：

与长时间模拟比较：

的士要么在机场里，要么在城市中行驶. 从城市出发，下一站是机场的概率是 1/4，或者去城市另一个地方的概率是 3/4. 从机场出发，下一站总是到城市. 使用离散马可夫过程建模，状态1表示城市，状态2表示机场，从机场出发：

模拟的士行驶的典型序列：

求平稳分布：

平稳分布表明的士司机花 时间在城市里：

在容器 A 和 B 之间分配 个球，在每一步随机选择一个球，并且转移到另一个容器. 求容器 A 中球的平稳分布. 容器 A 中球的数目使用离散马可夫过程建模. 如果容器 A 中有 个球，A 在失去一个球的概率是 ，得到一个球的概率是 ，下面是转移矩阵：

容器 A 的平稳分布：

平稳分布相同，不管球的初始分布是怎样的：

对于在两端吸收的非延迟随机游走，如果移到右边的几率是 2:1，即使过程从左边界相邻的位置开始，仍然有很好的机会在右边界结束：

圆环上的随机游走：

该链是可逆，非周期的：

由于对称性，平稳分布是均匀的：

在一个机器加工车间的一个工作单元中，有三台机器，其中在某一天，一台机器出现故障的概率为 0.1. 机器 1 为机器 2 和 3 提供馈送，如果机器 1 出故障，那么当天无法生产. 一天只能修理一台机器，这样第二天可以使用该机器. 如果几台机器同时出故障，那么它们按优先顺序 1、2和3修理. 假定已经被维修的机器第二天能够运作. 求有一定生产的时间比例. 故障和修理过程可以使用离散马可夫过程建模，通过列出所有可能的故障和正常机器的组合：

没有机器出故障；一台或者多台机器可能第二天都出故障：

一台机器出故障；它被维修，并且剩下的两台机器中一台或者两台可能出故障：

两台机器出故障；修理按优先级完成，剩下的机器可能出故障：

所有机器都出故障；修理机器1：

所得转移矩阵：

离散马可夫过程，从所有机器都能运作开始：

如果没有机器出故障或者只有机器 2 或 3 出故障，则有产出：

达到全部产值的概率：

从所有机器都出故障到没有机器出故障的平均时间：

在最优奖惩汽车保险系统的四状态马可夫链模型中，每个保单持有人有四种状态，取决于前一年索赔的数量，并且这个状态决定了当年的保费. 如果没有索赔通常保费较低，而一个或者多个索赔通常保费较高. 在四个状态的保费金额 下，以及给定保单持有人连续状态的转移矩阵下，如果保单持有人年度索赔量是均值为 的泊松随机变量，求平均年度保费：

平均每年保费：

假定一年有 365 天，每天作为生日的概率相等，求使得至少两个人共享一个生日的概率为 50% 的最小人数. 状态有： — 生日不同的人数 和 — 至少有两人生日相同:

考虑一个简单的自然选择模型，其中孤岛的某一物种的总数在食物链上固定为 . 一个变异体存活的概率大于普通个体，在每一代变异体获取一席之地的概率是 ，丢失的概率是 :

变异体占据孤岛的概率：

平均需要多少代变异体才能占据该孤岛：

假设来自火星的无线电信息都以一种这样的语言（只有元音 A 和四个辅音 BCDR）书写，并在普通通信中使用一些通过具有下列估计转移矩阵的马尔可夫链产生的长消息：

求连续元音之间的平均距离：

求连续辅音之间的平均距离：

求连续出现 B 的长度的平均值和方差：