Markgraf, Sohn eines kaufmännischen Angestellten und einer Verkäuferin, erlernte nach dem Abschluss der Volksschule von 1925 bis 1928 den Beruf des Bäckers. Am 1. Mai 1931 trat er als Berufssoldat in die Reichswehr ein und verpflichtete sich auf zwölf Jahre zur Unteroffizierslaufbahn bei der Infanterie. Als Unteroffizier rückte er 1939 in den Krieg, stieg zum Hauptfeldwebel auf, wurde am 1. Oktober 1941 zum Leutnant ernannt, am 1. Februar 1942 zum Oberleutnant und am 1. Dezember 1942 zum Hauptmann befördert. Er erhielt am 5. Januar 1943 als Führer der Panzerjäger-Abteilung 40 in der 24. Panzer-Division das Ritterkreuz des Eisernen Kreuzes. Bei Stalingrad geriet er im selben Jahr mit der 6. Armee in sowjetische Kriegsgefangenschaft.