江西地区荒凉闭塞，于是回到江南。长安被汉国攻破后，司马羕与百官都劝司马睿即晋王位，司马睿最终接纳，司马羕亦升任侍中、太保。司马睿继位为帝后录尚书事，后领大宗师，升任太宰。太宁二年（324年），王敦之乱被平定后，司马羕加领太尉。司马羕因为是宗室长辈元老，晋明帝亦特向他下拜，即使司马羕的士兵有所劫略，因而有人弹劾司马羕，明帝亦不问罪。太宁三年（325年），明帝病重，遗诏司马羕与司徒王导和中书令庾亮等人辅助年幼的太子。明帝死后，太子司马衍登位，是为晋成帝，因皇帝年幼，下诏要司马羕依安平王司马孚的旧例，在殿上设