南北朝期にも南朝方の拠点となったが、延文5年(正平15年、1360年)に落城した。