Hans gravsten ble i 1997 flyttet fra Berlin til Nanjing, der den fikk en ærefull plass på minnestedet for Nanjingmassakren. I november 2006 ble Rabes tidligere bolig åpnet som museum i Nanjing, med navn . Der står også en byste av Rabe, avduket i august 2005. I Rabes hus og i hagen rundt ble flere hundre av de kinesere som var i faresonen berget.