Kielland ble født i Finnøy i Rogaland og tok artium ved Latinskolen i Stavanger. Han var elev ved den polytekniske høyskolen i Hannover i 1849–52 og deretter ved den tekniske skolen i Karlsruhe i 1852–54. Kielland hadde assistentstilling ved et veianlegg i Tvedestrand i 1855 og ved Christiania Gasværk frem til 1859 samt kort tid ved Kongsvingerbanen i sistnevnte år. I slutten av 1859 ble han stadsingeniør i Fredrikshald — en stilling han hadde til han pensjonerte seg i 1908 — og fra 1864 var han også branninspektør i byen. Dessuten virket han som lærer ved tegneskolen. Han var bestyrer for Fredrikshald Telefonforening (som han hadde vært med og stiftet) fra 1883 til 1892.