貞和2年(1346年)に北畠氏に攻められて落城したが、文和元年(1352年)に再び工藤氏が入っている。