Kielland debuterte som dirigent og pianist i Trondhjem i 1923. Han var repetitør ved Casino-theateret i København 1924, og kapellmester ved Stora Teatern i Göteborg. Her vakte han oppsikt med sin oppsetning av Carl Nielsens opera som hadde ligget uoppført siden premièren i 1902 og som vakte komponistens uforbeholdne anerkjennelse for tempovalg og kunstnerisk oppfattelse. I 1931 ble han ansatt som kapellmester i Filharmonisk Selskap i Oslo, og var fra 1933 selskapets kunstneriske leder – den første norske sjefdirigent i orkestrets historie. Han delte 1931 til 1933 kapellmesterposten med Odd Grüner-Hegge. Økonomiske årsaker tvang Filharmonisk Selskaps styre til å treffe et valg, og Kielland ble foretrukket ut fra sin bredere erfaring. Avgjørelsen vakte betydelig oppsikt og avstedkom livlig debatt i musikkretser. I 1936 overtok Kielland den musikalske ledelsen av Guldbergs Akademiske Kor. Han gjorde en betydelig innsats for å framføre musikk av unge norske komponister.