John F. Kennedy, de nieuwgekozen president, vroeg Rusk op 12 december 1960 voor de post van minister van Buitenlandse Zaken. Hij was niet de eerste keuze van Kennedy. Dat was J. William Fulbright, maar zijn benoeming zou als te controversieel zijn beschouwd. Rusk ging in op het aanbod en trad in januari 1961 in functie. Als minister geloofde hij sterk in het gebruik van militair geweld op het communisme. Ondanks het mislukken van de Invasie in de Varkensbaai om het communistische regime in Cuba af te zetten bleef hij herhaaldelijk voor het gebruik van geweld pleitten. In de Cubacrisis vond hij echter dat diplomatieke middelen voorrang moesten hebben. Met betrekking tot Vietnam had hij aanvankelijk zijn twijfels of Amerika moest ingrijpen, maar naarmate het conflict verergerde werd hij een warm pleitbezorger van de militaire acties van de Verenigde Staten in Vietnam. Dit maakte hem tot een vast object van demonstranten tegen de Vietnamoorlog.