Riemann komponerte sine første sanger til klaverakkompagenment som tiåring. Etter avlagt examen artium arbeidet han som repetitør ved Städtische Oper Berlin og begynte å studere komposisjon, kontrapunkt og klaver – blant annet med Boris Blacher og Ernst Pepping – ved Universität der Künste Berlin. Han flyttet til Wien i 1958 for å studere musikkvitenskap. Sine første opptredener som pianist og sangakkompagnatør hadde han på slutten av 1950-årene. På begynnelsen av 1970-årene ble Reimann medlem av Akademie der Künste i Berlin. I tiden fra 1983 til 1998 fikk han et professorat innen («samtidsmusikk-sang») ved Hochschule der Künste Berlin.