Il a été par ailleurs président de la Landsorganisasjonen i Norge de 1925 à 1934. Il s'agit alors d'une des périodes les plus turbulentes de l'histoire de cette organisation. Il démissionne à la suite d'un vote de confiance lors d'un congrès de la "Landorganisasjonen". Après l'invasion allemande en 1940, Halvard Olsen rejoint à nouveau le Fagopposisjonen et devient petit à petit collaborateur avec les occupants et le Nasjonal Samling (Union Nationale). Entre 1943 et 1945, il est consultant à la Landsorganisasjonen, alors contrôlée par le Nasjonal Samling.