Kielland studerte først til arkitekt i Hannover og dro deretter til München i 1892 for å bli maler. Han var tegner i «Simplicissimus» 1895–96, nedsatte seg så i Trondhjem som arkitekt og maler. Var også lærer i frihåndstegning ved , og ledet utgravingene på Steinvikholmen for Fortidsminneforeningen 1899–1902. Som arkitekt har han tegnet blant annet ved Øvre Leirfoss, og i Trondheim.