高僧传·卷第十·神异下·杯度八》记载有一人，有神力。当时的人不知他的姓名，但因他常以木杯放水中泛行渡海，故此称其为「杯渡」。最后在元嘉五年三月初八，杯度见过一些佛教信徒后，自称：“贫道当向交广之间不复来也”云云。当时的交广地区相当于现在的广东省、广西省和越南北部。相传他后来来到香港屯门修道，在青山的大山岩居住。因而，此山获名为“杯渡山”，其门徒在岩前筑一茅屋作“杯渡庵”，后称“青山古寺”；至民国初年改建成“青山禅院”。