Speidel ble forfremmet til oberstløytnant like før utbruddet av andre verdenskrig. Speidel tjenestegjorde i slaget om Frankrike i 1940 og i august ble han stabssjef til den militære befalhavende i Frankrike. I 1942 ble Speidel sendt til Østfronten hvor han tjenestegjorde som stabssjef for 5. Armée, og som stabssjef for Armégruppe Syd i 1943, der han innen den tid hadde blitt forfremmet til generalmajor. I april 1944 ble Speidel utnevnt til stabssjef til Generalfeltmarskalk Erwin Rommel, øverstkommanderende for Armégruppe B, ansvarlig for forsvaret av den franske atlanterhavskysten. Da Rommel ble såret i et luftangrep på hans tjenestebil, fortsatte Speidel som stabssjef for den nye sjefen Armégruppe B, feltmarskalk Günther von Kluge.