Ved begynnelsen av annen verdenskrig var Mertz von Quirnheim stabsoffiser ved organisasjonsavdelingen i generalstaben. 1941 kom det til uoverensstemmelser med ministeren for de besatte østområdene og rikskommissæren for Ukraina, etter at Mertz von Quirnheim hadde gått inn for en mildere behandling av sivilbefolkningen i de besatte områdene. Fra 1942 øket hans kontakter til militære antinazistiske kretser, gjennom hans svoger Wilhelm Dieckmann. Mertz von Quirnheim ble befordret til oberstløytnant og i november 1942 stabssjef for det 24. armékorps på Østfronten. 1943 ble han forfremmet til oberst og ble samme år gift med Hilde Baier. Fra september 1943 var han innviet i planene om å drepe Hitler. Sammen med sin overordnede, general Friedrich Olbricht, og Claus von Stauffenberg utarbeidet han planen for statskuppet, «Operasjon Valkyrie».