Goltz døde 19. april 1916 i Bagdad, bare to uker før britene i Kut overga seg. Den offisielle dødsårsaken av flekktyfus, men det gikk også rykter om at han skulle ha blitt forgiftet. I henhold til hans testamentet, ble han gravlagt i krigsgravstedet i hagen til det tyske generalkonsulatets sommerresidens i Tarabya ved Bosporos ved Istanbul. Gravlunden her ble året etter utformet av billedhuggeren Georg Kolbe. Her ligger Goltz blant annet sammen med den tidligere generalkonsulen, friherre von Wangenheim og oberst Erich von Leipzig.