起先，卫氏一家落魄的时候在平阳公主的家中为奴仆，卫媪的作风，深深地影响了其子女，其中卫少儿曾经与平阳公主府中一名叫霍仲孺的人私通，生下了霍去病，但是霍仲孺宁可维持与卫少儿的关系，也不愿成为卫少儿肚子中霍去病的父亲，因为这一态度，卫少儿也不说，使得霍去病自小就不知道自己的父亲是谁