是河东郡平阳县的县吏，前141年前后在长安平阳侯府的时候和府中侍女卫媪之女卫少儿私通生下霍去病。霍仲孺回平阳侯国，和卫少儿不再来往，后另娶妻生霍光。建元三年（前138年），陈皇后之母大长公主刘嫖因嫉妒被冷落了一年的宫女卫子夫怀孕，绑架了正在建章当差的卫青（卫子夫之弟）意图杀害，汉武帝知道后很生气，封卫青为建章监，和其兄卫长君同为侍中，三姐卫子夫为夫人，二姐卫少儿也因此得以嫁给西汉开国功臣陈平曾孙，时任詹事一职的陈掌。元狩二年（前121年），霍去病拜骠骑将军之职，在出击匈奴的途中，被河东太守出迎至平阳