，北畠氏便以净眼寺作为居所，战斗时才移师阿坂城，从而建构出根小屋式山城的形态。白米城传说后，再未有城池的纪录，直至永禄8年（1565年）和天正8年（1580年），城池的名字才重现于史料。当时的城主由大宫入道含忍斋担任。永禄10年（1567年），由于织田氏家臣泷川一益再三拒绝织田信长命其攻击城池的要求，自此便以牢不可破的城池而闻名。其后的永禄12年8月（1569年9月），信长军包围阿坂城，虽然曾经劝含忍斋投降，但是未获回应，后来通过木下藤吉郎（其后的丰臣秀吉）的计策才令到其开城投降，然后城池成为。期间，北