城主として地元豪族の"佐波氏"のちその後裔と考えられている"名倉氏"が用いていたが、応仁年間に名倉氏は備後守護の山名是豊に従ったため没落した記録が残っている。