Ο Περικλής, η Ασπασία και το φιλικό τους περιβάλλον δεν ήταν απρόσβλητοι από επιθέσεις, καθώς στην Αθηναϊκή Δημοκρατία το πρόσωπο που πρωτοστατούσε στην πολιτική ζωή δεν ήταν απαραβίαστο. Η σχέση της με τον Περικλή και η επακόλουθη ανάμειξή της στην πολιτική ζωή ξεσήκωσε πολλές αντιδράσεις. Ο Ντόναλντ Κάγκαν, ιστορικός στο Πανεπιστήμιο Γέιλ, πιστεύει ότι η Ασπασία δεν ήταν καθόλου δημοφιλής την περίοδο που ακολούθησε το Σαμιακό Πόλεμο. Το 440 π.Χ., η Σάμος βρισκόταν σε πόλεμο με τη Μίλητο για την Πριήνη, μια αρχαία πόλη της Ιωνίας στους πρόποδες των λόφων της Μυκάλης. Όταν έχασαν τον πόλεμο, οι Μιλήσιοι ζήτησαν από τους Αθηναίους να μεσολαβήσουν υπέρ αυτών στη διαμάχη τους με τη Σάμο. Όταν οι Αθηναίοι διέταξαν τις δύο πλευρές να παύσουν τις εχθροπαξίες και να τους αναθέσουν τη διαιτησία, οι Σαμιώτες αρνήθηκαν. Ως εκ τούτου, ο Περικλής προκάλεσε ψήφισμα εκστρατείας κατά της Σάμου. Η εκστρατεία αποδείχτηκε δυσχερής και οι Αθηναίοι υπέφεραν από βαριές απώλειες προτού καταφέρουν να υποτάξουν τελικά τη Σάμο. Σύμφωνα με τον Πλούταρχο, κυκλοφόρησε η φήμη ότι η Ασπασία, η οποία γεννήθηκε στη Μίλητο, υποκίνησε έναν πόλεμο που ο Περικλής δεν επιθυμούσε, και τελικά το έκανε για να την ευχαριστήσει.