Den 1. april 1991 ble Rohwedder myrdet i sitt hjem i Düsseldorf. Mordet ble aldri oppklart, men pressen mottok et tilståelsesbrev angivelig sendt av den venstreekstremistiske terrororganisasjonen Rote Armee Fraktion (RAF). Han ble bisatt ved en stor statsakt den 10. april samme år.