659年，法国重新恢复对该岛的殖民统治。由于该岛的土地贫瘠，气候干燥，因此经济发展潜力一直不大，但法国一直因该岛在小安的列斯群岛的战略位置而固守此地。当地居民的生计更加偏重于狩猎和捕鱼，而非附近盛行的棉花和甘蔗种植。1784年，法王路易十六把该岛赠与瑞典，用以换取法国商船在瑞典哥德堡港的免税权。而瑞典随即宣布免除该岛赋税，开发岛上的船坞为首府和自由港，并以命名纪念瑞典国王古斯塔夫三世。而瑞典的统治还在该岛留下不少印记，很多街道的名字都带有瑞典特色。而圣巴泰勒米岛徽上的三个重要识别物：三王冠、灰鹭和城壁冠