Som komponist representerer Kielland den nasjonale linje i norsk musikk. Musikken hans er sterkt inspirert av norsk folkemusikk og spesielt av hardingfelas polyfone karakter. I 1943 kjøpte han husmannsplassen «Raudmyr» i Bø i Telemark, der han senere bodde og studerte. Melodiene, rytmene og klangen i hardingfela har gitt uttrykk til mange av hans komposisjoner. Kiellands musikk har en uttrykt polyfon tendens med gjennomtrengende dissonante linjer.