玄孙，冠军将军济南惠王遂之曾孙，略阳太守瓘之子」，获授任谒者仆射，以勇气闻名。
受掌梁州.建元二年（344年），梁州刺史桓宣离职，征西将军庾翼请以司马勋代其为梁州刺史，因庾翼移镇襄阳，故司马勋初镇西城（今陕西安康），后退守武当。永和三年（347年），安西将军、荆州刺史桓温灭亡成汉。因益梁二州故土重新纳入晋朝版图，故司马勋亦移镇原本的梁州治所汉中。
征伐西土.永和五年（349年），后赵皇帝石虎去世，诸子争位而令国内大乱，当年司马勋就经骆谷入关中，击破后赵长城