唯一の例外は榎本健一であり、榎本はトニーを「生意気だ」と言ってその場では怒りつつも、やがてトニーへの風当たりがあまりに強くなると「トニーを慰める会」を自ら率先して催した。このため榎本にだけは敬意を払っていた。後の息子誘拐事件の際にも榎本だけはトニーをかばい、トニーの側でも榎本を信頼していた。女性芸能人に対しては舞台裏でもセクハラを仕掛け、日劇の楽屋に乱入してはヌードダンサーたちに抱き付いて触りまくった。またNETテレビの公録でも、同じ番組に出る女性漫才師の楽屋に乱入しては「おい!おまんちょ見せろ!」と大声で怒鳴った。この時のトニーは酒など入っておらず、しらふだった。このことから女性芸能人たちはトニーを心底嫌い、共演を拒否した。これはトニーの活動の場が徐々に減ってしまい、人気が失速する一因ともなった。放送局のエレベーターで女学生と乗り合わせたトニーは、その女学生が彼の顔を見てクスリと笑ったことに激怒し「なんで笑った、オレの顔がそんなにおかしいか、ここは舞台じゃねえぞ、笑いたけりゃゼニを払って笑え!オタフクめ!」と暴言を吐き、彼女を泣かせてしまった。このことが後で新聞の投書欄で明らかにされ、トニーは世間から指弾された。また無名時代の花登筺は、OSミュージックホール(現トップホットシアター)で幕間コントの構成演出を担当していた頃、当時人気の絶頂期にあったトニーの出演に際して徹夜で新しいギャグを考えて脚本を書き上げ持参したが、トニーはそれを読みもせずに「客は君の脚本でくるのじゃない。トニー谷の名前で来るのだ。脚本なんていらないよ」と花登の目の前で脚本を破り捨てた。花登は後年、この時のことを「劇場側の誰かがそばにいたら、私は恐らくそろばんで、トニー谷さんを殴っていたに違いない。私はその紙くず箱の破られた原稿の紙片を拾い集めながら「こん畜生め」と、心で罵っていた」と怨念を込めて回想している。さらに内藤陳は、日劇ミュージックホール出演中のトニーの楽屋に遊びに行った所、理由も告げずに突然「この野郎!」と引っ叩かれたことがあった。その原因は椅子に腰掛けた化粧前のトニーの横に内藤が立った時、その位置が期せずしてトニーのハゲ頭を真上から覗き込む形になったからであった。トニーがハゲ頭をカツラで隠していることは芸能界では公然の秘密だった。