À la mort de Staline, il se range derrière Nikita Khrouchtchev qui le nomme en juin 1956 ministre des Affaires étrangères à la place de Molotov dans le contexte de la crise du canal de Suez et de la révolution hongroise. En février 1957, suite à la présentation de la doctrine Eisenhower par le président des États-Unis Dwight David Eisenhower, décrivant la politique stratégique américaine au Moyen-Orient, Dmitri Chepilov réplique par son projet, le plan Chepilov, ayant pour l'objectif de maintenir et d'agrandir l'influence de l'URSS dans la région. En , il est remplacé par Andreï Gromyko. Malgré son apparente proximité avec Khrouchtchev, il s'oppose en à celui-ci lors de l'affaire du groupe anti-parti, ce qui lui vaut d'être démis du Politburo, dont il faisait partie depuis en tant que membre suppléant. Envoyé au Kirghizistan, il est exclu du parti en février 1962, mais il est réintégré en 1976 lors de la période brejnevienne.