På sine eldre dager ga Kielland ut bøker med religiøst innhold. Han ga ut bøkene «» i 1931, «» i 1935 og «» i 1940.