Une crise, presque fatale, enveloppe ensuite le parti à la suite du Rapport Kroutchev et de l'invasion de la Hongrie par l'Union soviétique en 1956 : le premier évènement détruit la foi que plusieurs membres du Parti ouvrier progressiste avaient en l'Union soviétique et Joseph Staline, tandis que le deuxième fait douter plusieurs que l'URSS avait vraiment changé. La crise est aggravée par les révélations d'antisémitisme à l'intérieur de l'Union soviétique (un grand choc aux membres juifs du parti tels que Salsberg et Robert Laxer). Le parti connaît des divisions graves, et plus de la moitié de ses membres, incluant plusieurs dirigeants, quittent le parti, laissant derrière eux un parti qui n'est plus qu'une ombre de ce qu'il avait été.