Da Hovland var fire år, flyttet familien til Fredrikstad. Faren dirigerte der et kor, og dette ble Hovlands første kontakt med musikk. Han begynte snart å få undervisning og studerte senere ved Oslo Musikkonservatorium med Arild Sandvold og Bjarne Brustad, og mottok sin eksamen i kirkemusikk. Han studerte også i København med Vagn Holmboe, ved Tanglewood med Aaron Copland og i Firenze med Luigi Dallapicolla. I 1949 startet han sitt mangeårige virke som organist i Glemmen kirke i Fredrikstad. Han var også en tid musikkanmelder i Demokraten.