Sjepilov var chefredaktör för Pravda 1952-1956 och centralkommitténs sekreterare från 1955. Till en början stod han högt i gunst hos Sovjetunionens nya ledare, Nikita Chrusjtjov, och bidrog till hans berömda tal vid den tjugonde partikongressen den 24 februari 1956 där Chrusjtjov tog avstånd från Stalins terror. Mellan juni 1956 och februari 1957 var han Sovjetunionens utrikesminister och fick under denna tid hantera Ungernrevolten och Suezkrisen. Med Egyptens president Gamal Abdel Nasser slöt han även avtal om sovjetiskt bistånd med byggandet av Assuandammen. På grund av förbindelse med "antipartigruppen" (Malenkov, Molotov, Kaganovitj) vilka i en kupp försökt avsätta Chrusjtjov tvingades Sjepilov avgå och blev förvisad till en tjänst i Kirgizistan. Han var mellan 1962 och 1976 utesluten ur kommunistpartiet.