莞县官陈延曾下令镌造杯渡禅师像安放于该山上供奉。到北宋宣和元年（1119年），再将其改为道场，迫僧易道服居住，诏改为斗姆宫。及至元、明两朝，又改称青云观。清朝初年因沿海迁界而荒废；复界后恢复旧名，屯门陶氏兴建并拥有青云观，至道光年间始获扩建。其后原为道教先天道道长的香港商人陈春亭获委任为青云观的住持，但他于1918年前往宁波观宗寺出家，皈依佛门，法号显奇，返港后联同张纯白居士（本名张森泉，法号了幻）与青云观及附近土地的业主屯门陶氏商议在该地修建寺院，到1920年，各项工程完竣，称为「青山禅院」，同时重修