卫青的母亲被称为卫媪(卫媪是否为其夫家姓存在争议)。与其夫生有一男三女:长子(卫长君)即卫长子,长女卫孺(《汉书》作卫君孺,《史记》作卫孺)、次女卫少儿、三女卫子夫。后卫媪与来平阳侯家中做事的县吏郑季私通,生了卫青。因为生活艰苦,卫青被送到亲生父亲郑季的家里。但郑季却让卫青放羊,郑家的儿子也没把卫青看成兄弟,而是将其当成了奴仆畜生一样虐待。卫青稍大一点后,不愿再受郑家的奴役,便回到母亲身边,做了平阳公主的骑奴。