Kielland var yngste sønn av Jens Zetlitz Kielland, og tilbrakte ungdomstiden på samfunnets solside med liten grunn til å bekymre seg for egen framtid. Det gjorde han tilsynelatende heller ikke. Han slentret gjennom skole og universitet, til han endte opp med juridikum i 1879. Karakterene ble så som så.