Da andre verdenskrig utbrøt befant André Weil seg i Finland, idet hans hustru returnerte til Frankrike uten ham. Ved den finske vinterkrigs utbrudd ble han arrestert for mistanke om spionasje. Weil dro raskt tilbake til Frankrike via Sverige og ble fengslet i Le Havre for å ikke å han innstilt seg ved innkallelse. Han ble senere flyttet til Rouen, der han mellom februar og mai 1940 gjorde de verk som skapte hans rykte. Den 3. mai 1940 ble han dømt til fem års fengsel men bad om å få gjøre militærtjeneste istedet.