그러나 집단지도 체제를 무시한 정책 결정, 농업 정책 실패, 쿠바 미사일 위기에서 미국에 대한 양보 등은 많은 반대파를 만들어내었고, 1964년 10월 13일 중앙위원회의 결정으로 실각되었다.