行有限或无限个数的阶段。一个参与者得到的总收益常用各阶段收益的贴现和，或是各阶段收益平均值的下极限来计算。
数学描述.随机博弈的组成部分有：有限参与者集formula_1 ；状态空间formula_2 （可以是有限集，也可以是可测空间formula_3）；对于每一参与者formula_4，存在行动集formula_5（可以是有限集，也可以是可测空间formula_6）；formula_7 是formula_8到formula_2 的转移概率，其中formula_10是行动组合，fo