Nach dem deutschen Angriff in Westeuropa bildete der bedrängte Premierminister Paul Reynaud seine Regierung um und ernannte Mandel am 18. Mai 1940 zum neuen Innenminister. Aufgrund der sich abzeichnenden militärischen Niederlage Frankreichs plädierten einige Minister um Philippe Pétain für den umgehenden Abschluss eines Waffenstillstands, während Reynaud und Mandel den Widerstand gegen das Deutsche Reich fortsetzen wollten. Notfalls müsse die französische Regierung in das Kolonialreich ausweichen, um von dort, mit britischer Unterstützung den Kampf weiterzuführen. Mit dem Rücktritt Reynauds und der Regierungsübernahme Pétains am 16. Juni 1940 verlor Mandel sein Ministeramt. Am gleichen Tag unterbreitete ihm Edward Spears, Churchills Verbindungsoffizier, das Angebot, gemeinsam mit Charles de Gaulle nach London zu fliegen, was Mandel ablehnte: „"Sie sorgen sich um mich, weil ich Jude bin. Gerade weil ich Jude bin, werde ich morgen nicht mit Ihnen gehen; es würde aussehen, als ob ich ängstlich wäre, als ob ich davonlaufen würde".“ Nachdem Pétain das Deutsche Reich am 17. Juni um Waffenstillstandsverhandlungen ersucht hatte, bemühte sich Mandel den Staatspräsidenten, die Präsidenten der Abgeordnetenkammer und des Senats sowie möglichst viele Parlamentarier davon zu überzeugen, sich nach Französisch-Nordafrika abzusetzen, um den Krieg von dort weiterzuführen. Dem Aufruf Mandels folgten lediglich 27 Parlamentarier, die sich am 21. Juni an Bord der "Massilia" einfanden und von Bordeaux nach Nordafrika ausgeschifft wurden.