多贫家小童到此处嬉水，部分冒失的泳客常在此地丧命，直至1961年已累计超过百人溺毙，香港政府在1961年7月在四周筑起高约8英尺的铁丝网围墙，杜绝游客进入参观。小西湖亦指1970年代前期，上述蓄水池附近的贫民窟，当年被称为「小西湖寮屋」（）。目前，于九龙观塘翠屏道13号的香港历史档案大楼里，仍保存有70年代，香港政府把那些寮屋居民迁徙到观塘的秀茂坪徙置区（现在的秀茂坪邨）的书信函件，供香港市民借阅参考。1972年，该蓄水池停用，目前已经不属于水务署所管辖，该湖从此空置至今。