Appelfeld ble født i en tysktalende jødisk familie enten i Jadova, en landsby i nærheten av Cernăuți (senere Tsjernivtsi), eller i selve Cernăuți. Han vokste opp i Cernăuți. Moren ble drept under tyskernes og deres rumenske alliertes angrep på Sovjetunionen og han havnet i konsentrasjonsleir i Transnistria sammen med sin far. Han klarte å flykte, og ettersom han hadde blondt hår, blå øyne og snakket ukrainsk, klarte han å skjule det at han var jøde. Han brukte navnet Janek og tilbrakte to år i Ukraina, bl.a. bodde han hos en ukrainsk prostituert i fem måneder og sammen med en tyvebande i en skog. Senere ble han tatt vare på av Den røde armé, der han arbeidet som kjøkkenhjelp. Etter krigen tilbrakte han en stund i en flyktningleir i Italia.