古德里安在第二次世界大戰中擔任裝甲部隊的指揮官，在波蘭戰役期間指揮第19裝甲軍進行快速的突穿攻勢，與蘇聯軍隊會師。在1940年的西線戰役中，古德里安擔任A集團軍第19裝甲軍軍長，是西線主攻的裝甲兵力矛頭之一。攻勢發起後，古德里安指揮部隊通過了被盟軍認為戰車難以橫越的阿登森林，直駛英吉利海峽，將困於比利時的盟軍包圍消滅，這次軍事行動的成功令德國乃至全世界體會到裝甲部隊在現代戰爭中的重要性；1941年6月德國發動「巴巴羅薩作戰」入侵蘇聯，古德里安出任中央集團軍的司令，指揮德軍裝甲部隊完成多次包圍殲滅戰，直趨蘇聯首都莫斯科，但在阿道夫·希特勒命令下，古德里安放棄其原先的目標，轉而率軍南下進行史上規模最大的包圍殲滅戰「基輔戰役」，這場戰役雖然以德軍的勝利結束，但因為時間上的遷延而使德軍必須在極不利的冬季狀態下進攻莫斯科，古德里安也因此被免職。1943年德國於「史達林格勒戰役」中慘敗後，古德里安復出并被任命为裝甲兵總監，進行重建裝甲部隊的工作，進而發動史上規模最大的裝甲戰役「庫尔斯克會戰」，雖然德軍在戰場上佔盡優勢，將3倍人數於德軍的蘇軍打敗，但是由於美軍在西西里島登陸，迫使希特勒下令德軍回防。1944年7月，古德里安出任陸軍總參謀長，這是他所晉升到的最高職位，但於戰爭結束前不久被免職。