Han var sosialminister i Einar Gerhardsens regjering 1963–1965, med et kort avbrudd mens John Lyng var statsminister. I perioden 1965–1969 møtte Gjærevoll på Stortinget som fast representant for Sør-Trøndelag. Han satt i denne perioden i Finans- og tollkomiteen (fra 1967 Finanskomiteen), og var også vararepresentant i Den utvidede utenriks- og konstitusjonskomiteen. I Trygve Brattelis regjering var han lønns- og prisminister 1971–1972, hvoretter Gjærevoll ble utnevnt til landets første miljøvernminister. Han hadde denne posten i fem måneder, til regjeringen Bratteli gikk av i oktober 1972 som følge av folkeavstemningen om EF.