桓玄专权时又以他为金紫光禄大夫。元兴二年（403年），桓玄篡位建立桓楚，司马遵被贬为「彭泽县侯」。次年刘裕率义兵攻下建康（今江苏南京），并声称受晋安帝密诏，以司马遵承制总百官，加侍中、大将军。义熙元年（405年），晋安帝回建康复位，以司马遵为太保，加班剑武士二十人。义熙四年正月庚申（408年3月8日），司马遵去世，享年三十五岁，朝廷追赠太傅，谥忠敬。