于东晋咸和年间，距今有1600多年的历史，该寺从宋代开始就供奉“五显财神”，香火旺了上千年，有“天下第一财神庙”的美誉。灵顺寺于2005年进行了大规模整修后对外开放，香火一直十分旺盛。北高峰与南高峰形成的双峰插云是西湖十景之一。历史上，苏东坡、干隆帝、毛泽东等名人曾多次攀登此山。