Etter hvert som Den røde armé nærmet seg Berlin og rykket fram under slaget om Berlin, evakuerte store deler av SS' organisasjon vestover. Også andre høytstående medarbeidere av Hitler fikk tillatelse til å evakuere, men Grawitz' forespørsel til Adolf Hitler om å kunne evakuere med sin familie ble imidlertid avslått. Den 24. april gikk det av en håndgranat i Grawitz' villa i Babelsberg som drepte han, hans ektefelle og barn. Det er antatt at granaten ble aktivert av Grawitz selv. Hendelsen er gjengitt i spillefilmen fra 2004, hvor Christian Hoening spiller Grawitz.