经过平阳县时，将同父异母的弟弟霍光（时年十七）带回长安，从此开启了霍光的政治生涯；后来他还出色地平息了匈奴降军的骚乱，匈奴从此退到了漠北一带。元狩四年（前119年），汉武帝调集十万骑兵，随军战马、步兵辎重无数，由卫青和霍去病各领五万骑兵，东西两路向漠北进军，发动扫荡匈奴的漠北战役。携三征河西的锐气，此次敢深入力战的兵士都分配给霍去病，原本为了对抗单于；但是卫青部自定襄出发，却和单于本部相遇，霍去病则率军东出代郡，行军两千里，大败左贤王，歼敌七万余人，左贤王部几乎全军覆没。霍去病先是捕获了匈奴伊稚斜单于的