Andre verdenskrig begynte mens Robinson i 1939 var på ferie med familien i Frankrike. Via Tyskland kom han seg tilbake til Litauen i november 1939. Det strømmet jødiske flyktninger fra det tyskokkuperte Polen til Litauen og Robinson medvirket i hjelpearbeidet. Kort tid før Sovjetunionen annekterte Litauen i 1940 forlot han landet via Moskva, Romania, Jugoslavia og Italia til familien som hadde blitt værende i Frankrike. Robinson, hans kone og to døtre fikk visum til USA sommeren 1940 og familien reiste via Lisboa til USA i november 1940.