Weygand kutsuttiin Ranskan ylipäälliköksi Maurice Gamelinin tilalle 20. toukokuuta 1940, jolloin Ranskan puolustus oli jo luhistumassa Saksan hyökkäyksen alla. Hänen odotettiin yrittävän sotaonnen kääntämistä, mutta sen sijaan hän suosittelikin Ranskan hallitukselle antautumista 12. kesäkuuta. Antautumisen jälkeen hän toimi kolmen kuukauden ajan Vichyn hallituksen puolustusministerinä, kunnes hänet lähetettiin Algerian kenraalikuvernööriksi ja koko Ranskan Pohjois-Afrikan hallinnon johtoon. Saksalaiset suhtautuivat kuitenkin häneen epäillen ja heidän pyynnöstään Vichyn hallitus kutsui hänet takaisin marraskuussa 1941. Sen jälkeen Weygand siirrettiin eläkkeelle ja hän asettui asumaan maatilalleen Grasseen lähelle Cannesia. Liittoutuneiden noustua maihin Pohjois-Afrikassa marraskuussa 1942 hän suositti Philippe Petainille siirtymistä uudelleen liittoutuneiden puolelle. Weygand yritti itse livahtaa Algeriin liittoutuneiden luo, mutta saksalaiset vangitsivat hänet 12. marraskuuta 1942 ja hänet vietiin vankina Itterin linnaan Itävaltaan.