Después de que Nobuhide tomó posesión del Castillo Anjō en 1540, este lo puso en manos de Nobuhiro, pero en 1549 el castillo fue asediado por las tropas del clan Imagawa comandadas por Imagawa Yoshimoto por lo que tuvo que huir.