Kiellands kom fra en skipsrederfamilie hjemmehørende nær Stavanger. I 1874 kom familien tilbake til Norge fra Afrika, og Kielland begynte sin utdannelse, først ved Oslo katedralskole, der han tok examen artium i 1891. Han studerte deretter medisin ved Universitetet i Kristiania, der han ble uteksaminert i 1899.