相良氏が鎌倉時代に地頭として人吉荘に赴任して以来35代670年の長きにわたり在城し、江戸時代には人吉藩の藩庁であった。
镰仓时代以来是相良氏35代670年的居城，江户时代是人吉藩之藩厅。