犬童頼兄
寛永17年(1640年)、頼寛が「頼兄は専横の家臣である」と幕臣・阿倍正之と渡辺図書助宗綱に相談した。阿部が大老・土井利勝に報告したところ、土井は頼兄親子を江戸に呼び寄せて幕臣から訓戒させてはどうかと頼寛に内談したが、頼寛は清兵衛一派の報復を恐れてこれを承知せず、頼兄親子の横暴を長々と書状にしたためて報告した。これを受けて江戸幕府は公儀として対応することになり、頼兄は江戸に召された。この一大事に人吉藩は改易か取り潰しかと騒ぎになり、当時73歳の頼兄は江戸に発った。箱根を越えると武器を取り上げられ、囚人同然の待遇となった。また出立は極秘であったが、国許では頼兄の養子・田代半兵衛(半兵衛の母の再嫁先が頼兄)が叛乱を起して、百数十人が死傷する騒ぎとなった。
8月11日、藩主・頼寛は、頼兄が私曲13ヶ条の罪を犯したとしてこれを幕府に訴えた。
頼兄の屋敷は、通称「御下(おしも)」と言い、相良清兵衛事件(=御下の乱)の際に、田代半兵衛(犬童半兵衛)が藩主から誅殺されるのを恐れて叛乱を起こし、屋敷に立て籠もって戦った末に火を放ったために焼失した。
後年、その遺構から地下室が発見された。絵図によると、屋敷内にあった2階建ての「持仏堂」と書かれた位置から発見されており、地下室の構造は、石積みの階段、踊り場、長方形の井戸、黒い小石敷き、その下にスギ板が敷かれていたが、これとほぼ同じものが、嫡子・頼安の屋敷内の蔵に当たる位置からも発見されている。井戸を持つ地下室の発見例は世界的に例がなく、またこの地下室が作られた目的はいまだ解明されていない。
現在、屋敷跡には「人吉城歴史館」が建設されており、地下室も建造当初の形に復元され、上から覗き見ることが可能となっている。