I 1902 begynte han på sin militære løpebane i . Utdannelsen varte til 1907. Parallelt studerte han rettsvitenskap. Under første verdenskrigen var Mackensen personlig adjutant for prins August Wilhelm, til sist som oberst. Etter krigsslutt arbeidet han i det prøyssiske justisdepartement, til han i mai 1919 ble kalt til Auswärtiges Amt, det tyske utenriksdepartementet.