Under kampene i 1940 deltok Håvardsholm som frivillig. Etter kampene reiste han til England i juni 1940, hvor han sluttet seg til Kompani Linge i 1941 etter en periode i flyvåpenet. I oktober 1941 ble han sendt tilbake til Norge på et hemmelig oppdrag for å organisere motstandsarbeid i Suldal og Røldal.