卫少儿（为卫子夫、平阳公主的丈夫卫青的姐姐）私通，生下了霍去病。后霍仲孺回乡另外娶妻，生下霍光。霍去病的姨母卫子夫被汉武帝看中入宫，数年后受到汉武帝宠爱生皇长子刘据而被立为皇后，卫氏家族从此平步青云。因为汉武帝爱屋及乌，霍去病于16、17岁时出任负责保卫皇帝安全的侍中官，于18岁时随舅卫青出征。
出击匈奴.元狩元年（前122年），霍去病初次征战，年方十八，获授骠姚校尉，率领八百骑兵，与部属赵破奴、高不识、仆多等人，出征匈奴，在这次战斗中，斩杀了单于的祖父若侯产，俘虏了单于的叔父罗姑