Graf ble gravlagt på St. Johann-gravlunden i Saarbrücken. Syv skoler i Tyskland er oppkalt etter ham, blant dem Willi-Graf-Gymnasium i München. Det er også et studenthjem i München som bærer hans navn. I 2003 ble han posthumt utnevnt til æresborger av Saarbrücken.