静岡県田方郡中郷村（現・三島市）出身。1911年第四高等学校卒業。1914年東京帝国大学文科大学卒業。1915年同大学大学院修了。その後、名教中学校教諭、次いで1916年成蹊実務学校教諭、1917年同主事となる。1920年から1925年まで成蹊中学校校長を務める傍ら、1922年に明星実務学校創立に参画し、1923年同理事に就任する。1924年から翌年まで成蹊小学校校長も兼任した。1925年欧米教育視察のため学校法人成蹊学園を退職し、1926年明星実務学校校長となる。1927年財団法人明星中学校理事長・明星中学校校長に就任する。1941年大政翼賛会中央協力会議議員に、1943年全国私立学校恩給財団理事長となる。1947年日本私学団体総連合会副会長および新制明星中学校校長に就任する。1948年東京都公安委員長に選出され、また、学制改革により明星高等学校を開校し、同校長となる。1949年明星幼稚園を開園し、同園長。1950年明星小学校を開校し、同校長、また全国私立学校審議会連合会会長となる。1951年学校法人明星学苑理事長。文部省社会教育審議会施設委員長。1964年明星大学を開学し、同学長。1965年同人文学部長兼任。1968年東京都私立中学校高等学校協会会長。1973年財団法人私学研修福祉会理事長。1978年明星学苑理事長。明星小学校校長。明星中学校・高等学校校長。明星幼稚園園長を退任。明星学苑長に就く。1989年12月15日肝臓がんのため東京慈恵会医科大学附属病院にて逝去。1990年明星学苑にて学苑葬が営まれた。
車体構造はDE10形と同様の前後非対称ボンネット形機関車であるが、メンテナンス面で問題のあった3軸台車を廃し、通常の2軸台車でB-B形配置とし、保守面に配慮した。車軸数を減らしながらも軸重はDE10形等とほぼ同等の14.7t（DE10形は13t、DE11形は14t）としたことで、従来DE10形が投入されていたローカル線でも運用できることをねらった車両となっている。最高速度も110km/hとローカル線での多様な用途に応えられる仕様としている。駆動系はDF200形で経験を積んだディーゼル・エレクトリック方式とし保守の容易化を目指している。発電用機関はDF200形と同様コマツ製とし、排気量30リットルのFDML30Z形エンジン（SAA12V140-1相当）を使用している。車体の1エンド側には内燃機関及び主発電機、主電動機送風機並びに熱交換器を搭載し、2エンド側には補助電源装置及び主変換装置を搭載する。運転室内構造はDE10形やHD300形と同様に、運転台が横向きに対面式で配置されたレイアウトを採用している。
親分肌で、気に入った役者やスタッフらを取り巻きとして公私に関わらず引き連れていたため、いつしか「若山組」と呼ばれるようになった。面倒見のいい反面、非礼な態度や意にそぐわない相手には手を上げることもよくあり、自分より格下と思われる相手からは「若山さん」ではなく「若山先生」と呼ばれない限り、返事もしなかった。大部屋俳優等、弱い立場の人に対してだけでなく、撮影スタッフや監督、大映時代には会社幹部にまで暴力をふるうことがあったため恐れられていたが、子役に対しては優しかった。1989年のこと、新東宝時代からの友人である丹波哲郎は若山に、自身が企画・製作・脚本・総監督を務めた映画『丹波哲郎の大霊界 死んだらどうなる』（丹波企画 / 松竹富士）への出演を依頼。若山は既に心臓疾患を患い、体調に不安を抱えつつもこれを引き受ける。丹波は若山の体調を気遣いながら撮影を進めたが「おまえはすぐ人を殴る。体調が悪くなったのはそのバチが当たったんだ」と苦言を呈している。若山組には大木実・山城新伍・安岡力也・高岡健二・潮健児・関山耕司・丹古母鬼馬二らのメンバーがいたが、若山より6歳年上の大木とはお互いに「きょうだい」と呼び合う仲だった。若山組への加入は「固めの杯」を任侠の世界と同様に行っていたが、下戸で自他共に認める名うての甘党だった若山の「固めの杯」は「羊羹を煮溶かし、食パンの上に塗ったものを食べるというものであった」と山城は語っている。後輩を壁際に立たせて、若山得意の手裏剣を投げつけるという荒っぽい「入組試験」もあった。弟である勝新太郎とは容姿がそっくりなだけでなく、「借金が得意」、「親分肌で取り巻きを大勢連れ回したがる」など、その性格・言動やプライベートが酷似していたため、大映時代には「二人も勝新太郎は要らない」、「愚兄賢弟」などと揶揄されたほどだった。しかし天才肌の反面、大酒飲みで遅刻が多く台本をあまり読んでこない勝と違い、若山は2時間ほど前には楽屋入りし、撮影前の台本チェックなど事前の準備を怠らなかった。後年東映でスターダムにのし上がり、映画賞・演劇賞を数々受賞するに至ってからは名優としての評価を高めたのに対し、勝は不祥事が相次ぐようになり、その評価は逆転した。事実、勝は「演出やプロデュースでは自分が上だが、演技力はお兄ちゃんに敵わない」と最高の賛辞を送っている。兄弟仲は非常に良く、勝が大麻所持で逮捕された際、マスコミの前では勝を批判しながらも、執行猶予付きの判決が出たときは若山は「良かった」と涙を流して喜んだ。また、勝がある役者の演技を叱ろうとしたとき、その役者が「若山先生の言われた通りにしたんですけど…」と答えると、「あぁそう、お兄ちゃんがそう言ったの」と一転して機嫌がよくなり、叱るのをやめたという。