Som student var han med i Den Konservative Studenterforening og deltok i flaggstriden i Det Norske Studentersamfund. Halvorsen tilhørte en krets fra studenterforeningen som Høyres generalsekretær Paul Benjamin Vogt tok under sine vinger. Vogt ønsket å skolere studentene til «folketalere» som kunne brukes i Høyres valgkamper.