Kielland tok på seg ansvaret for reorganiseringen av Trondheim Symfoniorkester 1946, og var 1948 – 52 leder av Musikkselskapet Harmoniens orkester i Bergen, og 1952 – 55 kunstnerisk leder for Islands symfoniorkester i Reykjavík. Som gjestedirigent har han besøkt blant annet i Berlin, Basel, Paris, London, New York og de nordiske hovedstedene. I 1966 ble han Vestfold Symfoniorkesters første dirigent.