Han organiserte flyktningtrafikken fra Tysfjord til Sverige, og i 1942 ble han leder for flyktningorganisasjonen i Tysfjord, som loset rundt tre tusen mennesker over riksgrensa. Han samarbeidet med grenseloser som Peder Pedersen og Peder Knutsen. Varmann ble arrestert og ført til Narvik av Gestapo den 25. januar 1945, og ble satt fri den 8. mai 1945.