男性的な重低音の美声である一方で、子どものように非常に無邪気で屈託のない笑い方をする。この笑顔はプロ野球ファンから、名前をもじってしばしば「たのしげ」（楽しげ）と呼ばれる。反面、相手打者に打たれた時などには露骨にうなだれた姿を見せることでも知られた。これについて本人は「あれは良くないんです。出さないようにとは思うけど、入り込んでしまうタイプなので」と反省の弁を述べている。
前述の声や風貌、大洋・横浜・中日の当時のチームカラー、野球における自他へのストイックさ、（特に低迷時の）監督経験などから、寡黙で愛想がないというイメージを持たれがちだが、先輩チームメイトだった高木豊は、「人が良いのに人が悪そうに振る舞うところが吾る」「本当はそんなんじゃない。天真爛漫で人懐っこい」と述べている。さらに高木によると「負けず嫌いで、執着心があり、コツコツと非常に努力家」であるという。努力について本人は「苦にならなかった」と述べている。負けず嫌いについては、本人のほか数々のチームメイトの証言がある。若手時代にワンバウンドを体で止めず佐々木主浩とバッテリーを拒まれていた時代も、あえて見せつけるように投手陣が練習するスペースでワンバウンドを体で止める練習を続け、その努力が認められ佐々木とバッテリーを組めるようになった。
広島県立広島工業高等学校に進学する予定で、同校の野球部監督からは「試験だけ受けてくれれば大丈夫」と言われていたが、その言葉を真に受けて受験勉強に真剣に取り組まなかったせいか不合格となり、やむなく県外の江の川高校に進学した。
谷繁は現役時代は同じ捕手として古田敦也に対して強いライバル意識を持っており「ヤクルト戦では負けたくない」という想いで常にプレーに臨み、試合の中で古田に何とか捕手としての自分を意識させたいという考えも胸の内に秘めていたという。一方で現役を振り返って総括しても「ほぼ勝てなかった」「スーパーマン」と語るなどプレイヤーとしての古田に尊敬の念も同時に持ち合わせていた。
大矢明彦がバッテリーコーチを務めていた頃、とにかく読書するように勧められ、それが自分の言葉で話すこと、投手を操縦するための言葉選びに役立った。因みに現役時代によく読んだジャンルは歴史、メンタル系。