〜1550年天文年間に三輪氏が築城し代々居住する。