Wolfberg ble 3. april 1942 arrestert da han dultet bort i en SS-soldat på gaten og senere samme år sendt til Kvænangen for å bygge snøskjermer. 26. november 1942 ble han deportert med MS «Monte Rosa» til Auschwitz-Birkenau. Der var han syk og svak, og sto i fare for å bli sendt i gasskammeret, men ble hjulpet på fote av Assor Hirsch fra Trondheim. Han ble senere plukket ut til orkesteret i Birkenau. Ved nyttår 1944–1945 ble han sammen med flere tusen sendt på dødsmarsj fra Birkenau til Sachsenhausen. I Sachsenhausen arbeidet han blant annet ved flyfabrikken Heinkel utenfor leiren. I Sachsenhausen var det nordmenn som hjalp Wolfberg med mat og endring av kartotekkort. Kartotekkortet hans ble endret, slik at han ble klassifisert som nordmann med fornavnet Leif, og ikke fødenavnet Leiba. Wolfberg kom da som en av få norske jøder med i De hvite bussene først til Neuengamme, han var på den siste transporten fra Sachsenhausen 24. mars 1945. Deretter ble han sendt via Danmark til Sverige 28. april 1945. Josef Berg var en av de andre som ble evakuert.