I 1909 ble han valgt til Stortinget, og fratrådte stillingen som ordfører. I 1911 ble han i statsråd utnevnt til borgermester i Stavanger. Denne stillingen hadde han til 1917, da han ble utnevnt til kriminaldommer (dommer i strafferettssaker) ved det nyopprettede Stavanger kriminaldommerembete. I 1920 ble byrettsordningen innført i Stavanger, og Kielland fikk tittelen byfogd.