Vel 'd'Hiv er kanskje aller mest kjent for å ha blitt brukt som oppmøtested for franske jøder under andre verdenskrig. I juli 1942 brukte det franske politiet, som opptrådte etter ordre fra de tyske myndighetene i det okkuperte Paris, stadionet til å holde tusenvis av jøder innesperret etter en omfattende massearrestasjon av franske jøder. De mange tusen jødene ble holdt på velodromen i flere dager før de ble flyttet til en konsentrasjonsleir i den parisiske forstaden Drancy. Deretter ble jødene sendt til konsentrasjonsleiren Auschwitz i Polen.