其为梁州刺史，因庾翼移镇襄阳，故司马勋初镇西城（今陕西安康），后退守武当。永和三年（347年），安西将军、荆州刺史桓温灭亡成汉。因益梁二州故土重新纳入晋朝版图，故司马勋亦移镇原本的梁州治所汉中。
征伐西土.永和五年（349年），后赵皇帝石虎去世，诸子争位而令国内大乱，当年司马勋就经骆谷入关中，击破后赵长城戍，并进据悬钩。司马勋当时离长安只有二百里，于是派部将刘焕进攻长安，并攻破贺城。虽然当时关中人都杀害后赵官吏以响应司马勋，但司马勋却遭到赵将领麻秋的抵抗。司马勋自知兵少，难以抵抗麻