Albert von Graefe døde av lungetuberkulose i Berlin 20. juli 1870. Hans grav er fredet i (Cemetery No II av menighetene i Jerusalem kirke og New Church) i Berlin-Kreuzberg, sør for Hallesches Tor.