Etter å ha vært utenriksminister gikk Sjepilov tilbake til sentralkomiteen. Han gikk i mot Khrusjtsjov under «antipartigruppens» kuppforsøk i 1957 (se artikkelen om Sovjetunionens historie 1953–1985), og måtte forlate sentralkomiteen da kuppet mislykkes. Sjepilov ble ekskludert fra partiet i 1961, og på tross av at han senere fikk medlemskapet tilbake kom han aldri tilbake i sovjetisk politikk.