4年），日本真言宗的创始人空海大师乘遣唐使船入唐求法，中途突遇飓风，在海上漂流了34天，后于长溪县赤岸镇(今霞浦县赤岸村)海口登陆，在逗留了41天后奔赴长安，逗留期间，海空曾至建善寺参拜。会昌五年（公元845年），唐武宗开展大规模打击佛教的活动，史称会昌毁佛，寺遂废。公元846年唐宣宗即位，重新尊崇佛教，五年后大千法师奏请恢复寺庙，宣宗同意，并御赐“大中建善”的匾额。宋干兴元年（公元1022年），寺庙被改称“建善禅寺”。宋元丰六年（公元1078年），进士陈襄重建该寺。明洪武十九年（公元1368年）