Hovland Olsen vokste opp i umiddelbar nærhet til Brakerøyabanen, hjemmebanen til det som den gang het Bragerøens Ballklubb. Han debuterte som 15-åring i 1959 og fikk drøye 500 kamper fram til han ga seg som spiller i 1980. Han ble omtalt som en hurtig og teknisk midtbanespiller.