因顶峰有一处山石形似鹫，且该山鹫多，从而得名。释迦牟尼佛曾在此开示佛法，包括《妙法莲华经》（故法华会又叫灵山会）、《无量寿经》、《观无量寿经》、《般若经》，及一部份《阿含经》等。佛涅槃后，弟子们在此山下的王舍城举行第一次集结。中国古代高僧法显、玄奘、义净都先后前往这里参拜和居住过，并做过详细记录。此处亦是提婆达多推石伤佛处。相传东晋印度高僧慧理来杭州，看到灵隐寺后面有一座山，和故乡的灵鹫山形貌相似，就说这是从印度飞来的，然后此山被称作「飞来峰」。