1840年，千里达岛退出集体。巴巴多斯则希望保留自己独立的认同和其他本地机构，故集体内的其他岛屿亦不愿意再与其联络。各岛屿因此成功抵御英国政府打算将联盟深化的计划。巴巴多斯一直争取保留自己的议会，最终于1884年离开向风群岛殖民地。殖民地的中心后转移至格林纳达。1885年至1958年间，向风群岛殖民地包括格林纳达、圣文森特和格林纳丁斯以及圣卢西亚。多巴哥岛于1889年离开，并且与千里达岛合併。1940年，从背风群岛殖民地中离开后，多米尼加亦加入向风群岛殖民地，一直到1958年离开。1885年后，各向风群