Han ble etter hvert en uønsket person av de antisemittiske lokale myndighetene og på grunn av den økende nazismen i landet forlot Imi hjem, familie og venner i 1940. Han flyktet til Palestina på flyktningeskipet Pencho, men skipet forliste i Egeerhavet. Lichtenfeld kom til Palestina i 1942, etter å ha tjenestegjort og utmerket seg i den britiskstyrte Frie tsjekkoslovakiske legion i kamper i Nord-Afrika.