I 1888, 34 år gammel, tok han over i NTB, etter å ha fått med svigerfaren frimerkeforvalter Johan Christian Schlytter som medeier. Det hektiske liv som NTB-sjef passet Kiellands lynne fortreffelig. Han kom som et friskt pust inn i det nokså departementale NTB som forgjengeren Gran etterlot seg. Kielland tilførte byrået mye, både i energi og modernisering. Han innførte sogar nymotens telefon i lokalene. Det første tiåret kunne man finne sjefen i aktivitet på kontoret fra klokken ni om morgenen til langt på natt. I hans tid ekspanderte byrået kraftig, blant annet med utbygging av egen innenrikstjeneste.