La regione venne poi toccata dall'invasione dei Saraceni che vennero fermati da Carlo Martello nella Battaglia di Poitiers del 732; secondo la tradizione alcuni saraceni sfuggiti dalla battaglia si sarebbero nascosti in Vandea. Quindi, si costruirono le città carolinge, che anticipavano le future signorie; Carlo Magno creò ciò che poi sarà l'amministrazione feudale, mentre, non lontano dalle coste, vennero erette numerose abbazie e proprio un abate, San Filiberto fonderà Noirmoutier, Luçon e Saint-Michel-en-l'Herm che subiranno le prime invasioni dei Vichinghi. I drakkar vichinghi attaccarono spesso le coste del Basso Poitou, e queste vissero nel terrore fino alla fine del secolo. Dall'820, infatti, i signorotti locali iniziarono a prendere delle contromisure per respingere questa minaccia e per questo crearono la Contea di Herbauges, che si estendeva per il Pays de Retz, il nord della Vandea, comprese l'isola di Noimoutier e Bouin, fino alla valle di Clisson e Mauges. Fu necessaria però la cessione della regione della futura Normandia da parte di Carlo il Calvo e la resistenza del conte di Limoges, per porre fine alla minaccia vichinga.