I folkevandringstiden ble Bavay ødelagt av barbarer som strømmet inn over Frankrike fra øst, og byen klarte aldri å komme tilbake til gamle tiders storhet.