卫子夫“其家号曰卫氏”，可见卫媪姓氏由卫子夫生父而来，而媪则是用于妇人的称谓。卫媪的身份应是平阳侯家的奴仆。另“平阳侯妾”中，平阳侯可能指曹时。汉太祖时曹参封平阳侯，为第一代平阳侯。汉惠帝六年十月，曹窋为第二代平阳侯。汉文帝二十年（公元前160年），曹奇为第三代平阳侯。汉景帝四年（公元前154年），曹时为第四代平阳侯。其姐卫少儿身份明确，她为平阳侯曹时家中的侍者。