Hjermstads beste OL-resultat kom på femmila under OL i 1972 i Sapporo, der han kom på fjerdeplass. Pål Tyldum og Magne Myrmo sikret norsk dobbeltseier på distansen. Foruten OL i Sapporo 1972, deltok han i OL i Grenoble i 1968 der han ble nr. 8 på femmila. Under OL i Innsbruck i 1964 var han også uttatt, men ble dessverre syk og fikk ikke gått noen distanser.