他的母亲卫少儿是汉武帝姐姐平阳公主家里的奴婢，在与平阳县衙役霍仲孺私通后，生下了霍去病