Halvor Rivrud vokste opp i Tinn i Telemark og gikk på gymnaset ved Tinn kommunale høyere allmennskole på Rjukan. Han var skolekamerat med flere fremtidige motstandsfolk, som Gunnar Sønsteby, Olav Skogen og Torjus Aarnes. Som ung var Rivrud aktiv og tilbrakte fritiden med skiturer i fjellene rundt Rjukan.