Schmidt venne arruolato nel servizio militare nel 1937 e cominciò il suo servizio in una batteria antiaerea a Vegesack, vicino a Brema, nella seconda guerra mondiale. Dopo un breve servizio sul fronte orientale durante l'invasione dell'Unione Sovietica nel 1941, tra cui l'assedio di Leningrado, tornò in Germania nel 1942 per lavorare come formatore e consulente presso il Ministero dell'Aviazione. Durante il suo servizio nella seconda guerra mondiale, Schmidt ricevette la croce di ferro di 2ª Classe. Frequentò il Tribunale del Popolo come spettatore militare ad alcuni dei processi farsa per gli ufficiali coinvolti nella trama del 20 luglio, in cui venne eseguito un tentativo fallito di assassinare Hitler a Rastenburg, ed era disgustato dal comportamento di Roland Freisler. Verso la fine della guerra, dal dicembre 1944 in poi, lavorò come "Oberlieutnant" nell'arma contraerea sul fronte occidentale durante l'Offensiva delle Ardenne. Venne catturato dagli inglesi nell'aprile 1945 sulla Landa di Luneburgo, e fu prigioniero di guerra fino all'agosto dello stesso anno, in Belgio.