Under den tyske invasjonen ble Fagerheim tatt til fange. Etter at krigsfangene i Sør-Norge var frigitt, forsøkte han å ta seg til Åndalsnes, men da han kom fram var byen på tyske hender. Han ble identifisert som tidligere krigsfange og truet med henrettelse av en tysk offiser, men klarte å unnslippe og ta seg hjem til Stryn.