島津荘
しかし、肝付氏の栄華は、平家の滅亡とともに潰えてしまう。
平安末期、島津荘の領主は藤原摂関家から平家へと移っていった。よって平家の所領である島津荘は鎌倉幕府に没収され、かろうじて肝付氏の所領である肝付の地は安堵されたのである。
元暦2年(1185年)6月、源頼朝によって没収された島津荘の領主は藤原摂関家筆頭の近衛家となり、その下司に任ぜられたのが鎌倉幕府の有力御家人であった惟宗忠久である。