常に公平な視点から評価を下し、身分の上下を問わず有用の者を味方につけ、子分にするところは織田信長のようであった。のち、退助は日本初の部落解放の全国組織である『帝國公道会』を創設したが、当時からその片鱗があり、被差別部落の人々とも交わり飲食をともにし、語り会うことがあった。（当時は、被差別部落の人々と共に飲食をすることはタブーとされていた。『帝國公道会』の創設は、全国水平社より先である）この姿勢は生涯をかけて一貫して変わらず、のち伯爵になってからも、飲食をともすることがあった。「伯爵ともあろう人が」と周囲の者がとめに入ろうとすると、退助から「幼いころに蛙捕りをして遊んだ仲だ」と云われ、その者は藩政期は身分の上下の厳格であった時代と想像していたため非常に驚いた。
これに対し、吉田東洋は「およそ侍たる者、忠を盡し藩公の馬前に相果てる心掛けは、申すに及ばず尋常当然である。けれども、その限りで終わるのはであって、汝(退助)は大将の器があり、大業を成すにあたって学問をせずにどうするのか」と士は「武」に限らず「文」に通じなければならないことを諭す。しかし、退助は持論を曲げず、東洋の誘いを断り、東洋の開いた長浜村鶴田の少林塾に通うことは無かった。実際には聴覚障碍が原因で通わなかったとも言われる。(後藤象二郎、福岡孝弟、岩崎弥太郎などは通っている) その代わり兵法書の『孫子』を独学で熟読し、暗記するほど熱中した。
一時は家督相続すら危ぶまれたが、藩主の代替わりの恩赦によって、廃嫡処分を解除され、高知城下へ戻ることを許された。（この頃、名を「猪之助」から「退助」へ改める）
藩政に復職し、免奉行(税務官)を務める。その場所は前年、騒動があり農夫たちが、藩政に抗議する人たちがいた地域であったため、藩庁は気の荒い退助を送り込んだのだが、退助は平伏して遠慮がちに話をする農夫たちを見て「万民が上下のへだたりなく文句を言ったり、議論したりするぐらいがちょうど良い。私にも遠慮なく文句があれば申し出てください」と語った。