跟随父亲到安西四镇，因父亲的功劳而被授予游击将军的军衔，数年后，与父亲一起在唐朝军队服务。起初在节度使田仁琬、盖嘉运等旗下工作，并没有什么名声得到欣赏。开元末年，后来新的节度使夫蒙灵詧上表把他提拔为焉耆镇守使、安西都护府副都护、安西四镇（龟兹、焉耆、于阗、疏勒）都知兵马使。
征服小勃律国.高仙芝名扬史册的第一战是收服小勃律国。小勃律原来为大唐的属国，也是吐蕃通往安西四镇的交通要道，不过自从吐蕃(第36任)赞普赤德祖赞把公主墀玛络(赞普姐)嫁给小勃律王苏失利之为妃后，小勃律国就倒