Embora fossem influentes, Péricles, Aspásia e seus amigos não estavam imunes a ataque, pois a preeminência na Atenas democrática não era equivalente ao domínio absoluto. Seu relacionamento com Péricles e sua subsequente influência política despertaram muitas reações. Donald Kagan, historiador de Yale, acredita que Aspásia era particularmente impopular nos anos imediatamente após a Guerra Sâmia. Em 440 a. C., Samos estava em guerra com Mileto por Priene, uma antiga cidade de Jônia, no sopé de Mícale. Piores na guerra, os milesianos vieram a Atenas para defender seu caso contra os sâmios. Quando os atenienses ordenaram que os dois lados parassem de lutar e submetessem o caso à arbitragem em Atenas, os sâmios recusaram. Em resposta, Péricles aprovou um decreto despachando uma expedição a Samos. A campanha provou ser difícil e os atenienses tiveram que suportar pesadas baixas antes de Samos ser derrotada. Segundo Plutarco, pensava-se que Aspásia, que veio de Mileto, era responsável pela Guerra Sâmia e que Péricles havia decidido contra e atacado Samos para gratificá-la.Segundo alguns relatos posteriores, antes da erupção da Guerra do Peloponeso (431 – 404 a. C.), Péricles, alguns de seus associados mais próximos (incluindo o filósofo Anaxágoras e o escultor Fídias) e Aspásia enfrentaram uma série de ataques pessoais e legais. Aspásia, em particular, foi acusada na comédia de corromper as mulheres de Atenas, a fim de satisfazer as perversões de Péricles. De acordo com Plutarco, ela foi julgada por impiedade, com o poeta cômico Hermipo como promotor. A natureza histórica dos relatos sobre esses eventos é contestada; é improvável que uma mulher não ateniense possa estar sujeita a acusações legais desse tipo (embora seu protetor ou "kurios", neste caso Péricles, possam estar), e nenhum dano lhe ocorreu como resultado.