知道霍仲孺是自己的父亲。在他作为骠骑将军北击匈奴的途中，在经过河东时，特派官吏将自己的生父霍仲孺接来相见，为他购买了大量田宅、奴婢后才离去。到他班师回朝时，又顺便将同父异母的弟弟霍光带回长安。霍光后来得到武帝重用，成为托孤重臣辅佐汉昭帝，曾废立皇帝，为汉宣帝麒麟阁十一功臣之首。《史记.三王世家》记载，元狩六年（前117年）霍去病上疏请汉武帝立三子为诸侯王，因诸侯王须“就国”，即到封地居住，也就是请汉武帝尽快定了其他三个儿子名位离开长安，以维护卫太子刘据的地位。群臣庄青翟、张汤、公孙贺、任安等纷纷联名上书