Ved stortingsvalget i 1906 var det valg i enmannskretser, og Halvorsen ble valgt fra Bakklandet krets med støtte fra alle de borgerlige partiene. Han var finansminister i fem måneder i Jørgen Løvlands regjering fra 1907 til 1908. Halvorsen og resten av den regjeringstro fraksjonen i Venstre ble så støtt ut fra partiet (Det konsoliderte Venstre).