20世纪中叶，建成了学校和托儿所，也有了垃圾处理设施。有些岛屿只有椰子种植园，但没有居所，在那里工作的查戈斯人每日要来往岛屿之间。1960年代中期，查戈斯群岛仍然人烟稀少。人口估计在1500至2000人之间，分属450至500个家庭，聚居在三处：迪戈加西亚岛、萨洛蒙群岛（特别是）和佩鲁斯巴纽斯岛，以迪戈加西亚岛人口最多。
被英国驱逐出查戈斯群岛.作为准许殖民地毛里裘斯独立的条件，1965年，英国将查戈斯群岛从毛里裘斯分割开，成立英属印度洋领地，以便租给美国建立军事基地。英国政府