延文4年(1359年)には大友氏が当城を攻撃し、南北朝時代末期には菊池武朝と敵対していた記録が残る。