Hovda tok eksamen ved Kristiansands seminar i 1888 og var først lærer i folkeskolen i Hjelmeland. Fra 1898 var han tilsatt i amtsskolen. Fra 1907 til sin død var han styrer ved amtsskolen på Utgarden. Han var aktiv i indremisjonen og i ungdoms- og mållag.