绔习气，不爱惜士兵。史书上说汉武帝专门令宫中服务部门为他准备饮食，竟然有十多辆车之多。还军时，“重车余弃粱肉而士有饥色”。在塞外时，战士缺乏粮食，霍去病却在军营中踢蹴鞠的游戏。但将士们仍然愿意为其效命，漠北大战之后，许多卫青的门客都来投靠了霍去病。《史记》记载，漠北战后一年（元狩五年），因部下李敢击伤他的舅舅卫青，霍去病在不久后的一次打猎中将李敢射杀。肇因其父李广在元狩四年前119年出征匈奴漠北时向汉武帝请求先锋之职以求军功，汉武帝熬不过李广就口头上答应，但私底下偷偷给卫青密信让卫青不要让李广打先锋，因