Fra 1913 til 1916 var han varaordfører i Stange herredsstyre, og i de to periodene 1916–1919 og 1925–1928 var han medlem av Stange formannskap. I 1930 ble han forfremmet til major og forrettende sjef for Østopland Infanteriregiment nr 5, en stilling han beholdt frem til 1938 da han ble forfremmet til oberstløytnant og leder for samme regiment. Gaustad ble valgt inn på Stortinget som 5. representant etter valget i 1930 fra valgkretsen , hvor han fungerte som medlem av landbrukskomiteen.