母亲卫媪是平阳侯家的女奴，生有四男三女，即长子卫长君，长女卫君孺、次女卫少儿（霍去病之母）、三女卫子夫，次子卫青，三子卫步，四子卫广