Holmen hadde sin barndom på Reinsvoll i Vestre Toten kommune. I årene 1942 og 1943 organiserte Holmens far, Kaare Holmen distriktets distribusjon av kommunistenes illegale aviser. Den 8. desember 1943 kom Gestapos Adolf Georg Kirsebom og sønnen til politimesteren i Gjøvik, Karsten Lorange, til Holmens hjem for å arrestere Kaare Holmen. Holmens mor Alvilde og hennes mann, Kaare, klarte å lage en forvirring under arrestasjonen slik at Kaare klarte å løpe fra Kirsebom og Lorange og komme seg videre til kommunistenes mostandsbevegelse, Osvald-gruppen på Sollia. Kirsebom og Lorange arresterte Alvilde og etterlot sju år gamle Holmen alene. Utenfor var det minus 26 grader, men Holmen klarte å komme seg til sin bestemor på Raufoss med hjelp fra naboer og hans tante som hentet ham med sparkstøtting.