自日本神话中天照大神的两位儿子天津彦根命及活津彦根命，据说过去曾在这座山祭祀这两位神祉。12世纪时佐佐木氏开始支配近江国，并在北部的佐和山建立佐和山城，此后历经六角氏、浅井氏的支配，直到1571年被织田信长所控制，其后曾先后交予丹羽长秀、堀秀政 、堀尾吉晴担任城主，在1590年后成为石田三成的居城，并在此建立。不过在1600年关原之战石田三成败给德川家康后，本地成为德川四天王之一井伊直政的领地，井伊直政决定废弃已有超过四百年历史的佐和山城，于1603年在佐和山西方约约1.5公里的彦根山开始兴建彦根城