Han var justisminister i Emil Stangs andre regjering fra 2. mai 1893 til juli 1894. Deretter var han et drøyt år ved statsrådsavdelingen i Stockholm, før han 9. august 1895 tiltrådte som sjef for Finansdepartementet. Denne posisjonen hadde han fram til 14. oktober samme år, da han overtok som regjeringssjef. Hagerup var statsminister i to perioder, fra 1895 til 1898, og fra 1903 til 1905. Fra august 1897 og ut den første regjeringsperioden ledet han også Revisjonsdepartementet. Han var stortingsmann fra 1901 til 1906 og Høyres parlamentariske leder fra 1901 til 1903.