Klaveness var en avholdt predikant, og hans prekensamlinger hadde mange lesere. I sine senere år gikk han mer over til den liberale teologien, men holdt likevel alltid fast på den apostoliske trosbekjennelse. Han hadde stor interesse for kultur- og samfunnsspørsmål, noe som også kommer frem gjennom hans litterære produksjon, særlig i de to tidsskriftene han var med på å grunnlegge og utgi, nemlig «Kirke og Kultur» (1894-1914) sammen med Christopher Bruun og seinere Eivind Berggrav, og «Norsk Kirkeblad» (1904-1910) som ble den liberale teologiens kirkelige organ i Norge.