狐泥的养子。长大后擅长骑射，左右手皆能射箭。至咸和六年（331年），司马勋从关右地区南奔东晋，自称「是大长秋恂之玄孙，冠军将军济南惠王遂之曾孙，略阳太守瓘之子」，获授任谒者仆射，以勇气闻名。
受掌梁州.建元二年（344年），梁州刺史桓宣离职，征西将军庾翼请以司马勋代其为梁州刺史，因庾翼移镇襄阳，故司马勋初镇西城（今陕西安康），后退守武当。永和三年（347年），安西将军、荆州刺史桓温灭亡成汉。因益梁二州故土重新纳入晋朝版图，故司马勋亦移镇原本的梁州治所汉中。