Dopo la sua maturità, si arruolò nella Reichswehr, nel 1923. La sua amicizia con il colonnello Claus Schenk von Stauffenberg, che sarebbe diventato l'ideatore dell'attentato del 20 luglio, iniziò nel 1925. Allo scoppio della seconda guerra mondiale, Quirnheim venne nominato ufficiale di stato maggiore.