古代には塩屋の出郷であったと伝えられ、桧山路では白魚を獲っていた。地元では平家の落人の伝説が残る。安土桃山時代には九鬼嘉隆が豊臣秀吉の朝鮮出兵の際に建造した「日本丸」という艦船の竜頭に桧山路から切り出されたクスの巨木が使われた。海を通して紀伊国との結び付きが強く、桧山路から藁・筵（むしろ）・草履・魚肥が出荷され、紀州から材木を受け取っていた。