Natt til 21. juli ble Mertz von Quirnheim skutt sammen med Stauffenberg, Olbricht og oberleutnant Werner von Haeften på ordre fra deres medkonspirator generaloberst Friedrich Fromm, som forsøkte å redde sitt eget skinn (men selv ble henrettet senere). Han ble først gitt en ærefull begravelse med medaljer, men liket ble på ordre fra Himmler ekshumert, brent og asken spredt.