霍光为捍海之神加以祭祀。南宋淳熙年间，杭州湾北岸崩塌，金山没入海中，仅余三座山峰露出海面，形成金山三岛。1958年，中国人民解放军上海警备区曾派一连驻守于岛上，1978年军队撤离后，该岛成为无人岛。1989年，经过批准，上海生理研究所在岛上放养了大量猕猴，以作科研用猴之用。