Til Frogner kirke i Oslo har Kielland laget flere bidrag. Klebersteinsrelieffet «Jeg vil gi eder hvile» var ferdig sammen med kirken i 1907, sammen med trefigurer av Olav den hellige, Martin Luther og Hans Nielsen Hauge. Bronseskulturen av Kristus, plassert på utsiden i nisjen over frontvinduene, kom på plass i 1911.