Perikles, Aspasia en hun vrienden waren niet immuun voor aanvallen, daar een vooraanstaande positie in de Atheense democratie niet gelijk stond met een absolute regering. Haar relatie met Perikles en haar latere politieke invloed veroorzaakte nogal wat reactie. Donald Kagan gelooft dat Aspasia vooral onpopulair was in de jaren volgend op de Samische Oorlog. In 440 v.Chr. was Samos in oorlog met Milete over Priëne, een oude stad van Ionië aan de voet van het voorgebergte Mykale. Verzwakt door de oorlog, kwamen de Milesiërs naar Athene om voor hun zaak tegen de Samiërs te pleiten. Toen de Atheners beide partijen bevalen de strijd te staken en hun zaak voor te leggen aan Athene, weigerden de Samiërs. In antwoord daarop liet Perikles een decreet goedkeuren om een expeditie uit te sturen naar Samos. De campagne bleek moeilijker te zijn dan gedacht en de Atheners moesten zware verliezen lijden alvorens Samos werd verslagen. Volgens Plutarchus was men van mening dat Aspasia, die van Milete kwam, verantwoordelijk was voor de Samische Oorlog en dat Perikles om haar te behagen de kant van Milete had gekozen en Samos had aangevallen.