Etter examen artium begynte Kielland på universitetet i Christiania, men oppholdet ved universitetet ble kort. I 1888 var Kielland elev hos Mathias Skeibrok, for å utdanne seg til billedhugger. Deretter var han i 1889-90 på studieopphold i Paris, der han var elev hos billedhuggeren Henry Chapu og maleren Léon Bonnat ved Académie Julian. I Paris delte han en tid leilighet med Edvard Munch og Kalle Løchen.