Als im Februar 1939 die Front von Katalonien im spanischen Bürgerkrieg zusammenbrach, zogen sich die republikanischen Truppen nach Frankreich zurück. 12.000 Kriegsteilnehmer, viele davon Angehörige der Division Durruti, wurden bis Ende September 1939 in Le Vernet interniert. Mit Beginn des Zweiten Weltkrieges wurden ab Oktober 1939 als feindlich eingestufte Ausländer und Franzosen nach Le Vernet verbracht: deutsche und französische Kommunisten, Italiener, ausländische Juden, Elsässer, Lothringer, Weißrussen, Bolschewiki und belgische Faschisten. In seiner Autobiographie "Als Zeuge der Zeit" beschreibt Arthur Koestler seine Internierung im Lager im Kapitel "Abschaum der Erde". Nach der französischen Kapitulation im Juni 1940 gehörte das Lager zur freien Zone Frankreichs. Die Kundt-Kommission traf am 17. August 1940 hier 3728 Gefangene an, darunter „283 Reichsdeutsche, meist Juden“.