«Krystallnatten» inntraff mellom 9. og 10. november 1938, og var starten på en dramatisk opptrapping av jødeforfølgelsene i Tyskland. Weiss overtalte da straks sin venn, Frankrikes utenriksminister Georges Bonnet til å opprette organisasjonen Comité Central des Réfugiés (norsk: Sentralkomiteen for flyktninger). Komiteen skulle ta imot flyktningene fra Tyskland til Frankrike. Weiss klarte som organisasjonens generalsekretær, allerede i desember samme år (1938), å få brakt tusen flyktninger fra Tyskland til Frankrike.