Herlof Gjerde var vararepresentant i kommunen Bodins herredsstyre 1964-1967, og bystyremedlem i bykommunen Bodø i årene 1968-1971. Da Magnus Andersen ble oppnevnt som statsråd i Fiskeridepartementet tidlig i 1972 ble Gjerde oppnevnt som statssekretær. Han fungerte i embedet frem til Regjeringen Bratteli I gikk av 17. oktober samme år.