聚集的印尼佣工愈来愈多，这里成为了他们聚集及游玩的地方。后来政府决定在这里兴建中央图书馆，曾经引起地区人士争议，担心外佣会因此缺乏聚会场所。中央图书馆大楼之建筑费为6.9亿港元，受到立法会财务委员会议员批评：加设罗马式装饰柱设计被指浪费公帑，成了香港科技大学翻版。工程于1998年3月展开，1999年12月22日举行落成典礼，原订于2000年12月启用，却因电脑系统问题而延迟。延至2001年5月17日由香港特别行政区行政长官董建华主持揭幕仪式，5月18日正式启用。在开放当日，单是上午已吸引了8,000