Den 7 november 1938 blev vom Rath skjuten och dödligt skadad av den 17-årige Herschel Grynszpan, en polsk jude som hade flytt från Tyskland till Frankrike. Anledningen till att Grynszpan valde vom Rath som sitt offer är inte med säkerhet känt, även om det är känt att han var upprörd över nyheten att hans familj höll på att deporteras från Tyskland till Polen. De flesta vittnen uppger att Grynszpan inte nämnde vom Rath vid namn utan bara bad att få tala med en medlem av den diplomatiska personalen. vom Rath dog av sina skador efter två dagar. Det antisemitiska våldet i Kristallnatten inleddes omedelbart efter hans död.