尾根に連なる畠山氏とその重臣の遊佐氏、長氏の屋敷を中心とする曲輪群に加えて、斜面にはその家臣の屋敷が、麓には城下町があり、城下町は惣構えや砦で守られていた。