这里，相传吕洞宾、铁拐李、张果老、汉钟离、曹国舅、何仙姑、蓝采和、韩湘子八位神仙，在蓬莱阁醉酒后，展示各自的宝器，凌波踏浪、渡海而去，「八仙过海、各显其能」、「八仙过海，各显神通」或「八仙过海，各凭本事」的传说便由此流传。又有一说蓬莱仙岛就是指现在的台湾。另外因为日本的地理分布，也有以蓬莱三岛作为对日本的雅称。平安时代，僧侣宽辅认为「蓬莱山」就是指富士山。《竹取物语》中提到「东海有蓬莱山」，由「蓬莱玉枝」述说富士山的缘起。