弘治元年(1555年)に氏泰が病没すると、その嫡男泰長が城主となる。