武帝，父亲司马子如在北齐任官，位至尚书令。司马消难亦因帝婿身份而显贵，拜驸马都尉，任中书黄门郎、光禄少卿。齐文宣帝高洋捉拿其弟上党王高涣时，司马消难被怀疑和高涣同谋，惧祸派部下裴藻向北周商议投降，官至尚书令。北周大象二年（580年）杨坚专权后，尉迟迥据有太行山以东十一个州，兵力二十多万；又联络郧州总管司马消难抗杨，七月二十四日消难举兵响应，据江北九个州，兵力约十一万。杨坚以王谊为南路行军元帅，率领李雄等四个行军总管，讨伐江北的司马消难。八月，王谊军至郧州，司马消难率部退至鲁山、甑山。王谊命令总管李威