Størst betydning fikk Riemann som musikkteoretiker. Hans funksjonsteori la grunnlaget for dagens harmonilære, og han er opphavsmann til mange begreper innen det musikalske fagspråket, eksempelvis agogikk, motiv og frasering.