子豪官至卫尉。妹妹是汉宣帝婕妤，受宣帝宠爱，生下楚孝王刘嚣（孺子婴的曾祖父）。卫子豪的大女儿入宫为汉元帝的婕妤，生下平阳公主。汉成帝时，中山孝王刘兴无子，又娶卫子豪的二女儿卫姬为妃。元延四年（前9年）卫姬生子刘箕子，就是后来的汉平帝。卫子豪有子二人：长子卫宝，次子卫玄。