若山富三郎
親分肌で、気に入った役者やスタッフらを取り巻きとして公私に関わらず引き連れていたため、いつしか「若山組」と呼ばれるようになった。面倒見のいい反面、非礼な態度や意にそぐわない相手には手を上げることもよくあり、自分より格下と思われる相手からは「若山さん」ではなく「若山先生」と呼ばれない限り、返事もしなかった。大部屋俳優等、弱い立場の人に対してだけでなく、撮影スタッフや監督、大映時代には会社幹部にまで暴力をふるうことがあったため恐れられていたが、子役に対しては優しかった。1989年のこと、新東宝時代からの友人である丹波哲郎は若山に、自身が企画・製作・脚本・総監督を務めた映画『丹波哲郎の大霊界 死んだらどうなる』(丹波企画 / 松竹富士)への出演を依頼。若山は既に心臓疾患を患い、体調に不安を抱えつつもこれを引き受ける。丹波は若山の体調を気遣いながら撮影を進めたが「おまえはすぐ人を殴る。体調が悪くなったのはそのバチが当たったんだ」と苦言を呈している。
若山組には大木実・潮健児・関山耕司・山城新伍・安岡力也・高岡健二・丹古母鬼馬二らのメンバーがいたが、若山より6歳年上の大木とはお互いに「きょうだい」と呼び合う仲だった。若山組への加入は「固めの杯」を任侠の世界と同様に行っていたが、下戸で自他共に認める名うての甘党だった若山の「固めの杯」は「羊羹を煮溶かし、食パンの上に塗ったものを食べるというものであった」と山城は語っている。後輩を壁際に立たせて、若山得意の手裏剣を投げつけるという荒っぽい「入組試験」もあった。
弟である勝新太郎とは容姿がそっくりなだけでなく、「借金が得意」、「親分肌で取り巻きを大勢連れ回したがる」など、その性格・言動やプライベートが酷似していたため、大映時代には「二人も勝新太郎は要らない」、「愚兄賢弟」などと揶揄されたほどだった。しかし天才肌の反面、大酒飲みで遅刻が多く台本をあまり読んでこない勝と違い、若山は2時間ほど前には楽屋入りし、撮影前の台本チェックなど事前の準備を怠らなかった。後年東映でスターダムにのし上がり、映画賞・演劇賞を数々受賞するに至ってからは名優としての評価を高めたのに対し、勝は不祥事が相次ぐようになり、その評価は逆転した。事実、勝は「演出やプロデュースでは自分が上だが、演技力はお兄ちゃんに敵わない」と最高の賛辞を送っている。兄弟仲は非常に良く、勝が大麻所持で逮捕された際、マスコミの前では勝を批判しながらも、執行猶予付きの判決が出たときは若山は「よかった、よかった」と涙を流して喜んだ。また、勝がある役者の演技を叱ろうとしたとき、その役者が「若山先生の言われた通りにしたんですけど...」と答えると、「あぁそう、お兄ちゃんがそう言ったの」と一転して機嫌がよくなり、叱るのをやめたという。
1984年に行なわれたインタビューの中で、「これまで4回ほど、ドン底があった」として、「一時は、東京の山谷か大阪の釜ヶ崎に住もうかと本気で考えたし、共産圏の国に逃げちゃおうかなんて思ったこともあった。」と話している。