Tilbake i Leipzig begynte han å vie seg til komponering, særlig for (inspirert av Edvard Grieg, som han beundret stort). I 1904 møtte han publisisten Carl Simon, som introduserte han for harmoniet. Fra da og til sin død skulle han skape de viktigste og fleste verker tilpasset dette instrument. Og det han i ettertid er mest kjent for, er engasjementet for harmonium-musikken. Ved siden av César Franck er han den komponist som i mest omfattende grad har utforsket de muligheter for ekspressivt spill som harmoniet gir. Karg-Elert har levert en lang rekke komposisjoner for dette instrumentet. Han var særlig opptatt av kunstharmoniet, som er en «konsertutgave» av det mer folkelige tråorgelet.