当地には持宝院という寺があり、現在は城の北側の麓に移転しているが、かつては、城ともに山にあったと伝わり、伊佐野城は半寺半城の城であった。