上郡的区域在7世纪之前曾是犬上氏的主要据点。「彦根」的名称源自彦根城所在的彦根山，而彦根山之名称则是源自日本神话中天照大神的两位儿子天津彦根命及活津彦根命，据说过去曾在这座山祭祀这两位神祉。12世纪时佐佐木氏开始支配近江国，并在北部的佐和山建立佐和山城，此后历经六角氏、浅井氏的支配，直到1571年被织田信长所控制，其后曾先后交予丹羽长秀、堀秀政 、堀尾吉晴担任城主，在1590年后成为石田三成的居城，并在此建立。不过在1600年关原之战石田三成败给德川家康后，本地成为德川四天王之一井伊直政的领地，