家老・深水長智は頼兄の才覚を認めて、死去した嫡子の代わりに自らの後継にしようとしたが、竹下監物ら深水一族から慣例に背くと反対されたため、主君・相良頼房の許しを得て、甥で養子とした深水頼蔵を奉行とし、頼兄をその補佐役とするように主張した。しかし頼房は、頼蔵よりも才気のある頼兄をむしろ信頼して、2人を同格の奉行とすることにした。しかし、これが原因で両者は益々不仲となった。
筆頭家老として.
徳川家の時代になると頼兄は、関ヶ原の戦後交渉で恩があり、同じ兵部少輔であった井伊直政を憚り清兵衛尉と改めた。
頼房の晩年は執務全般を頼兄が専断することを許し、全てを取り仕切るようになっていた。頼房の死後は頼寛に仕えたが、まだ若い主君は、藩主を凌ぐ勢力となった清兵衛一派を嫌い折り合いが悪かった。真偽は不明だが、藩主が市房山詣での途上で頼兄の屋敷に挨拶にきた際に、藩主を暗殺しようとして失敗したという民話も伝えられている。
弘前へ流刑.
なお、頼兄流刑の頃には嫡子・頼安は死去し、孫である頼章については、幕府の命令では召し抱えるかどうかは頼寛の心次第ということであったが、お下の乱などがあったことから、実母が島津家久の娘である縁から薩摩国島津氏預かりの身となり、子孫は島津家臣として仕えた。また『人吉市史』によれば、頼兄の流刑先に同行した従者の1人である印藤（犬童）九郎右衛門長澄が実は頼兄の子で、その孫である印藤四郎右衛門長矩が小姓として津軽藩に仕え、後に田浦の姓を与えられたとする説を記述している。
相良清兵衛屋敷.
頼兄の屋敷は、通称「御下（おしも）」と言い、相良清兵衛事件（＝御下の乱）の際に、田代半兵衛（犬童半兵衛）が藩主から誅殺されるのを恐れて叛乱を起こし、屋敷に立て籠もって戦った末に火を放ったために焼失した。
現在、屋敷跡には「人吉城歴史館」が建設されており、地下室も建造当初の形に復元され、上から覗き見ることが可能となっている。
江戸川 コナン（えどがわ コナン）は、『週刊少年サンデー』で連載されている青山剛昌原作の漫画作品『名探偵コナン』、およびそれを原作とするテレビアニメなどのメディアミックス作品に登場する架空の人物であり、同作の主人公。本名は工藤 新一（くどう しんいち）。