Les Acadiens qui affluent vers la nouvelle colonie sont pour d’Angeac source de tourment. Établis surtout sur Miquelon, ils représentent plus des deux tiers de la population en 1767, d'environ 1250 âmes sur les deux îles. Afin de favoriser l'installation des colons, d’Angeac distribue des rations aux nouveaux venus, mais les Acadiens se mettent à exiger des ressources trop importantes pour ces îles au territoire limité. Le gouvernement français, désireux de réserver ces îles à la pêche ordonne, en 1767, aux fonctionnaires coloniaux, de faire évacuer les Acadiens. Bien qu’il soit personnellement opposé à cette décision injuste, d’Angeac se plie aux ordres et fait "déporter" 763 Acadiens vers la France.