朝梁天监年间置前京县，筑有城墙，隋朝时废除。五代后再次兴起为重要商港，亦是吴越的海防要地。大金山上有金山忠烈昭应庙，建于东吴，以霍光为捍海之神加以祭祀。南宋淳熙年间，杭州湾北岸崩塌，金山没入海中，仅余三座山峰露出海面，形成金山三岛。1958年，中国人民解放军上海警备区曾派一连驻守于岛上，1978年军队撤离后，该岛成为无人岛。1989年，经过批准，上海生理研究所在岛上放养了大量猕猴，以作科研用猴之用。