Det var som prest til Lista at Hovden for alvor begynte å skrive. Den første fortellingen * (1893) ga han ut under pseudonymet Karl Koll. I alt skrev han elleve prosafortellinger hvor han beretter om hverdagslivet til fiskerbøndene på Vestlandet. Havet kom til å stå sentralt i mye av det han skrev, og mange bygde på personlige erindringer. (1926) hadde et rent selvbiografisk innhold. Hovden diktet rundt 250 salmer og ga i perioden 1905 til 1939 ut fire salmesamlinger. Dessuten fikk han utgitt hele 16 diktsamlinger. Hans største inspiratorer var dikterne og kameratene Per Sivle og Arne Garborg. Hovden mottok statens kunstnerlønn fra 1931, etter at han året før var blitt pensjonert fra sin prestetjeneste.