En mars 1933, à la suite de la prise du pouvoir du NSDAP et à l'incendie du Reichstag, Grylewicz, pour qui un mandat d'arrêt avait été émis, dut fuir à Prague ; sa femme, temporairement détenue, a pu le suivre quelques mois plus tard. Grylewicz, qui n'occupait plus de poste de direction dans l’organisation trotskyste en exil IKD, s'est retiré de la politique en 1937 sans renoncer à ses convictions politiques. En novembre 1937, il fut expulsé vers la Norvège après une intervention de l'ambassade soviétique. Un peu plus tard, il retourna illégalement à Prague, d'où il voyagea un peu plus tard (également illégalement) à Paris. Il y fut interné en 1939 après le déclenchement de la guerre, jusqu'à la fin de 1941, et put alors émigrer à Cuba, où il vécut jusqu'en 1955 et travailla comme charpentier. En 1955, il retourna à Berlin, où il rejoignit le SPD tout en maintenant ses positions politiques trotskystes. Marqué par son internement, sa clandestinité et ses voyages, il eut des graves problèmes de santé qui limitèrent son action politique.