W 1938 po aneksji Austrii przez Niemcy dołączył do NSDStB, związanej z NSDAP organizacji studenckiej. Został też członkiem SA. W trakcie II wojny światowej był żołnierzem Wehrmachtu, w tym oficerem wywiadu. Służył od 1941 w czasie ataku na Związek Radziecki, a w następnych latach na Bałkanach, wchodził m.in. w skład sztabu generała Alexandra Löhra, straconego po wojnie za popełnione zbrodnie. Do drugiej połowy lat 80. związki Kurta Waldheima z organizacjami nazistowskimi i jego kariera wojskowa nie były publicznie znane.