Im Spätsommer 1939 besuchte er Łódź, wo er vom deutschen Einmarsch in Polen überrascht wurde. In der Hoffnung, die rumänische Hafenstadt Constanța erreichen und sich dort nach Palästina einschiffen zu können, floh er Richtung Osten. Als er die rumänische Grenze erreichte, war diese bereits geschlossen. Polen und Rumänen kontrollierten die Flüchtlinge gemeinsam und wiesen Juden ab. Margolin fuhr daraufhin in seine Geburtsstadt Pinsk, wo seine Eltern lebten. Hier erlebte er die sowjetische Invasion. Die sowjetischen Behörden verweigerten ihm die Ausreise, obwohl er über gültige Papiere für Palästina verfügte. Im Juni 1940 verurteilte ein sowjetisches Gericht Margolin wegen "illegalen Aufenthaltes in der Sowjetunion" zu fünf Jahren Lagerhaft. Zusammen mit zahlreichen anderen "sozial-gefährlichen Elementen" wurde er vom NKWD in ein Arbeitslager am nördlichen Ufer des Onegasees deportiert. Er überlebte und kam im Juni 1945 frei. Etwa acht Monate verbrachte er daraufhin in Slawgorod im Fernen Osten der Sowjetunion. Über diese Zeit schrieb er später einen Artikel unter dem Titel "Ein Wunder in Slawgorod". Als polnischer Staatsangehöriger durfte er 1946 nach Polen zurückkehren, von wo aus er nach Palästina reiste. Er begann sofort, seine Erinnerungen an den Gulag niederzuschreiben und beendete das Manuskript 1947.