Le XXe congrès du Parti communiste de l'Union soviétique en 1956 et, en 1960-1961, « l'affaire Servin-Casanova » - du nom de deux hauts responsables communistes sanctionnés pour leurs thèses khrouchtchéviennes - ébranlent ses convictions. Un peu marginal dans le parti, mais très soutenu par Roland Leroy, Jean Elleinstein pratique une liberté de ton qui le rapproche des communistes italiens ou espagnols. Nommé directeur adjoint du Centre d'études et de recherches marxistes, il publie entre 1972 et 1975 une "Histoire de l'Union soviétique" dans laquelle il s'émancipe sensiblement de la version orthodoxe, exprimée depuis 1945 par Jean Bruhat. En cohérence avec sa politique d'ouverture en cette période d'union de la gauche et d'eurocommunisme, le PCF le laisse faire. Jean Elleinstein pousse sa liberté en publiant, en 1975, une "Histoire du phénomène stalinien", dans lequel il analyse le stalinisme comme le produit malheureux des circonstances historiques.