城主については、1798年-1819年(寛政10年-文政2年)編纂の富田景周による地誌『越登賀三州志』に「斎藤主馬」あるいは「主馬判官」、「斎藤左源太」とする伝えが紹介されている。