Kennedy gilt als Frauenheld: Die "New York Times" schrieb: „Die Wirkung, die er auf weibliche Wähler hat, ist geradezu unanständig.“ „Die Frauen wollen ihn entweder bemuttern oder heiraten.“ Ihm wurden zahlreiche außereheliche Affären nachgesagt, unter anderem mit prominenten Schauspielerinnen wie Marilyn Monroe. Die kolportierte Verbindung mit Monroe sorgte angesichts ihres Todes und der Gerüchte um ihre Liaison mit seinem Bruder Robert F. Kennedy für vielfältige Spekulationen über die Beteiligung des US-amerikanischen Geheimdienstes. Von 1960 bis 1962 unterhielt Kennedy eine Liebesaffäre mit Judith Campbell, die während dieser Zeit auch mit den Gangstern Sam Giancana und John Roselli verkehrte.