Plutarch berichtet, dass sie von einem gewissen Axiochos abstamme und aus Milet komme. Aspasia hatte vermutlich einen Sohn mit Perikles, der den Namen seines Vaters erhielt. Aufgrund des neuen, von Perikles selbst eingebrachten Bürgerrechtsgesetzes von 451/450 v. Chr., dem sogenannten Bastardgesetz, wonach nur aus der Verbindung attischer Bürger das volle Bürgerrecht entspringen konnte, blieb Perikles der Jüngere, der später einer der Athener Feldherren war, zunächst davon ausgeschlossen. Die eheliche Verbindung zwischen einem Athener und einer Milesierin war rechtlich gesehen keine gültige Ehe. Dies führte in den Komödien der Zeit zur Darstellung als des Perikles Geliebte oder Hetäre. Dem üblen Gerede folgte die Anschuldigung, sie sei für den Ausbruch des Samischen Aufstandes (441 v. Chr.) verantwortlich gewesen, und eine Anklage durch den Komödiendichter Hermippos, der sie der Asebie und Kuppelei (433/32 v. Chr.) beschuldigte. Perikles selbst konnte nur mit Mühe einen Freispruch erreichen.