Sein Verhältnis zu Präsident Kennedy war nicht allzu gut, mehrere seiner Rücktrittsgesuche wurden abgelehnt. Nach der Ermordung von John F. Kennedy bot Rusk dem neuen Präsidenten, Lyndon B. Johnson, seinen Rücktritt an. Dieser bat ihn jedoch zu bleiben. Die beiden Südstaatler wurden Freunde. Als Johnson 1973 starb, hielt Rusk die Grabrede. Rusk wollte auch 1967 zurücktreten, nachdem bekannt geworden war, dass seine Tochter Peggy einen afroamerikanischen NASA-Mitarbeiter, Guy Smith, heiraten wollte, worauf Präsident Johnson ihn erneut bat im Kabinett zu bleiben. Rusk blieb bis Ende von Johnsons Amtszeit im Januar 1969 Außenminister.