Kielland ble tildelt St. Olavs Orden. Dessuten var han ridder av Polyhymnia (orden) siden 1919. Han døde i Oslo i 1972.