În timpul administrației Kennedy, Dulles s-a confruntat cu creșterea criticilor la adresa activității sale. În toamna anului 1961, după incidentul din Golful Porcilor și puciul din Alger împotriva lui Charles de Gaulle, Dulles și colaboratorii săi apropiați, inclusiv directorul adjunct pentru operațiuni Richard M. Bissell Jr. și directorul adjunct Charles Cabell, au fost forțați să demisioneze. Pe 28 noiembrie 1961, Kennedy l-a decorat pe Dulles cu Medalia pentru Securitate Națională la sediul CIA din Langley, Virginia. A doua zi, 29 noiembrie, Casa Albă a prezentat o scrisoare de demisie semnată de Dulles.