青的出身背景（贱民出身、私生子、外戚身份），加上卫青位极人臣但是低调怀柔能得善终不符合他的欣赏品位（司马迁自身的经历使他对项羽、李广、郭解等富于悲剧色彩的人物更为偏向，描写时带入了很多私人感情），因此不愿意直接赞赏卫青。有人甚至因为《史记》中卫青、霍去病被记入过《佞幸列传》，称其‘和柔媚上’，以及《史记·汲郑列传》中记载汉武帝对卫青十分随便不拘礼，从而联想出他们中有男色关系。苏东坡也曾在《东坡志林·人物》中借此题发挥写过一篇文章嘲讽汉武帝和卫青。
家庭.注：根据班固在《汉书》卷