Som komponist skrev han blant annet symfonier, en fiolinkonsert, kammermusikk, en opera og mer enn 200 romanser, det meste i perioden 1890-1905. I dag spilles verkene lite, men mange musikere som senere hørte til de mest fremtredende, som Fartein Valen, begynte sitt musikkstudium hos Elling.