，陈皇后之母大长公主刘嫖因嫉妒被冷落了一年的宫女卫子夫怀孕，绑架了正在建章当差的卫青（卫子夫之弟）意图杀害，汉武帝知道后很生气，封卫青为建章监，和其兄卫长君同为侍中，三姐卫子夫为夫人，二姐卫少儿也因此得以嫁给西汉开国功臣陈平曾孙，时任詹事一职的陈掌。元狩二年（前121年），霍去病拜骠骑将军之职，在出击匈奴的途中，被河东太守出迎至平阳侯国的传舍，并派人请来霍仲孺与之父子相见。霍去病替霍仲孺大量购买田地房屋和奴婢后离去。霍去病此次出征凯旋时，再次拜访霍仲孺，并将异母弟弟霍光一起带到长安照顾。霍光当时年仅十七