加佐郡由良村の南には霊峰(神体山)である由良ヶ岳があり、かつて由良神社は由良ヶ岳の山麓に祀られていたとされる。