Lors du Grand Dérangement des Acadiens en 1755 et la prise de Louisbourg en 1758, la plupart des résidents ont dû quitter l’île. Un grand nombre d'Acadiens sont arrivés dans les années suivantes et on leur défendit d’assumer des fonctions officielles, de voter, d’enseigner, de fréquenter les écoles et même d’être propriétaires terriens. À la tête de cette oppression se trouvait Charles Robin, un anglican jersiais des Îles Anglo-Normandes dont les activités de pêche et de commerce s’étendaient aux ports du golfe du Saint-Laurent. Avec d'autres marchands, ils ont pu monopoliser la pêche de la région et ont exploité les pêcheurs de l’Isle Madame jusqu’au début du .