Sjepilov var opprinnelig en alliert av Nikita Khrusjtsjov i striden med Georgij Malenkov. Etter Malenkovs avgang som statsminister i 1955 ble Sjepilov valgt til sekretær i sentralkomiteen, og han var på denne tiden en av de sentrale kommunistiske teoretikerne i Sovjetunionen. Han overtok som utenriksminister etter Vjatsjeslav Molotov i juni 1956, men hadde ministerposten kun frem til februar året etter da han ble erstattet av Andrej Gromyko.