På begynnelsen av 1930-tallet flyttet Pilger til Paris. Her hadde han kontakt med tidens litterære scene. I begynnelsen av andre verdenskrig, flyktet han videre til Marokko. Det startet han i 1951 å arbeide på sin første billedvev.