有梵僧（天竺国僧人）来山上的潮音洞边焚指供佛，引起观世音菩萨现身，后来潮音洞旁常有信士来此效仿焚指，引起僧团和官府的禁止，告诫禁止燃指的石碑至今仍在。故此山古来已是佛道信仰的圣地。传说，zh-hans:公元;zh-hant:西元858年，唐朝大中十二年，日本临济宗高僧慧锷参访五台山，并请得一尊观音菩萨像准备回国，行至现在的舟山群岛普陀山要坐船离岛，突然海上狂风起，巨浪沖天，慧锷法师只好停下待风浪平息再出发。翌日，慧锷准备再度启程，岂料海上忽然又升起白雾，挡住前行视线，他左右绕道避开雾气，却鬼使神