僧人启爽在当地的灵山（又名凤凰山）诵经时，闻见南方惊涛拍岸，似钟磬之声，便要在此建寺，以向龙王祈求不使潮水涨没滩涂，果然灵验。唐懿宗得知此事后，赐名该寺庙为“灵山寿圣寺”。此后，历朝历代都有关于灵山寺的奇闻。后晋天福年间，当地僧人自行筑堤围海成田，至北宋熙宁元年（1068年）已围田7顷。寺院规模也逐步扩大，《钱溪赵氏宗谱》中记载：“北宋初，灵山寺已会上大乘之典，佛寺甚盛”。宋神宗听闻后，于赐“灵山寿圣寺”匾额，并拨库银以进行扩建。但到元至治二年（1322年）时，寺院不幸毁于火灾，使“金碧之区，悉化为烬”。