传说圣武天皇为了祈求卢舎那佛像（东大寺大佛像）的完成顺利而建造了海住山寺。
寺史.海住山寺的建造事蹟无完全明确的纪录。但根据寺传记载，海住山寺是在天平七年（西元735年）奉圣武天皇之愿，以藤尾山观音寺为寺名，由良弁和尚开山创立。保延三年（1137年），三上山全山被烧毁。于承元二年，由笠置寺的贞庆和尚复兴并另取山名与寺名为现在的补陀洛山海住山寺。直到近世，海住山寺本为兴福寺（法相宗本山）所属，后来转变为真言宗。