I Sverdrups regjering (1884–89) styrte Haugland Finansdepartementet. Han stod lojalt på Sverdrups side i alle de splittende konfliktene som oppsto mellom statsministeren og flertallet i Venstre, og etter partisplittelsen i 1888 slutta han seg til Moderate Venstre.