波罗的海日耳曼人，他们将岛屿命名为圣安德鲁斯岛。1651年，殖民者在岛上修建城堡，并以雅各布·克特勒公爵的名字命名为雅各布堡。1661年，英国人占领岛屿，以英格兰国王詹姆斯二世重新命名为詹姆斯岛。2003年，詹姆斯岛及其附属设施入选联合国教科文组织世界遗产名录。