Operaatio Barbarossan alussa hän toimi menestyksekkäästi Sturmgeschütz III -rynnäkkötykin johtajana, tuhoten lukuisia neuvostopanssareita, ja ansaitsi 1. luokan Rautaristin. Wittmann kävi upseerikoulun vuoden 1942 lopulla ja ylennettiin SS-Untersturmführeriksi (vänrikiksi) joulukuussa 1942. Vuoden 1943 alussa Wittmann siirtyi Leibstandarten 1. SS-panssarirykmentin 13. raskaaseen panssarivaunukomppaniaan, joka oli varustettu raskailla Tiger-panssarivaunuilla. Hän toimi komppaniassaan panssarivaunujoukkueen johtajana, ottaen osaa muun muassa Kurskin suurtaisteluun heinäkuussa 1943. Wittmann saavutti miehistöineen suurta menestystä taistelukentällä; vuoden 1944 tammikuussa hänet ylennettiin SS-Obersturmführeriksi (luutnantiksi) ja palkittiin Rautaristin ritariristillä, Wittmannin tuhottua 66 vihollisen vaunua. Hieman myöhemmin hän sai tammenlehvät Ritariristiinsä 88 tuhotun panssarin jälkeen.