天正4年(1576年)8月24日、米良矩重が島津氏に寝返ってしまったことにより小林城共々島津氏の城となった。