Aspasia var født i den joniske byen Milet (i dagens provins Aydın i Tyrkia). Lite er kjent om hennes familie med unntak av at hennes fars navn var Axiokos. Det er tydelig at hun må ha tilhørt en velstående familie, for bare de rike hadde råd til den utmerkede utdannelsen som hun fikk. Noen antikke kilder hevder at hun var en karisk krigsfange som ble omgjort til slave, men disse påstandene regnes vanligvis for falske.