Etter Abitur (artium) trådte Mertz von Quirnheim 1923 inn i Reichswehr. Han innledet et vennskap med Claus von Stauffenberg i 1925.