2013年9月には天理大学柔道部で5月から7月にかけて4年生の男子部員4名が1年生部員複数に対して暴力を振るい、そのうちの1名が鼓膜を破るなどのケガをしていたことが明らかになった。柔道部部長である藤猪は7月にこの件の報告を受けて、土佐三郎監督や直接暴力は振るっていなかったものの暴行現場に居合わせた主将の大野将平らとともに、被害者である1年生部員の自宅へ謝罪に赴いた。しかし、女子柔道強化選手への暴力問題を受けて、暴力問題に本格的に取り組むことになった全柔連にはこの件を知らせず、8月には全柔連の新理事に就任した。この問題が発覚した9月4日の記者会見では、「部内と学校の中の話で終わると思った。甘かった」、「（暴力問題の対処は）大学に預けていたので、（学外に）問題が起きていることを言えなかった状況ということです」と述べて、この件を隠蔽する意図は持ち合わせていなかったことを主張した。これに対して被害を受けた1年生部員の関係者は、「これほどひどい暴力があった部の部長が、全柔連の理事になるなんて許せない」と憤った。なお藤猪柔道部部長は3日に全柔連に対して理事を、4日には大学に対して柔道部部長を辞任する意向を伝えた9月5日に天理大学は今回の件を受けて、藤猪柔道部部長と土佐監督を解任したことを発表した。柔道部に対しても再発防止策が確認されるまで無期限の活動停止処分を下すことになった。またこの日、全柔連は藤猪柔道部部長、土佐監督、正木嘉美監督代行の3名を東京に呼び出して、暴力事件の経緯及び全柔連への報告が遅れた点などに関する事情を大学側が用意した資料を基に聞き出した。翌週にも大学側からの再調査報告を受けて、藤猪らの処分を検討する懲罰委員会を立ち上げることになった。なお、藤猪柔道部部長がすでに提出していた全柔連理事の辞表届けは5日付けで受理された。9月11日には大野も別の暴力行為に加担していたことが明らかになった。9月18日に全柔連は懲罰委員会を開いて、藤猪前部長と土佐前監督を「暴力防止義務はあったが手は出していない」として文書による戒告、1年生に平手打ちするなどの暴力を振るった73kg級世界チャンピオンで柔道部元主将の大野将平ら4年生9名に3ヶ月の登録停止処分をそれぞれ下した。
祖父は材木商をしていたが、父は無職で、不動産収入で生活していた。母・長子との長男として誕生（妹が1人いたが、早くに亡くなっている）。鎌倉師範付属小学校から慶應義塾商工学校に入り、慶應義塾高等部に進む。在学中、先輩の徳大寺伸が主宰するアマチュア劇団に誘われ、公演に助っ人として参加当時は俳優になるつもりはなく、山岳部の活動をしながら学生生活を送っていたが、ラグビー部員に刀の鍔で殴られて失明状態になり、僅か1年で高等部を中退している。目は半年後に回復し、その後は素人劇団に出演していた。1934年（昭和9年）1月、東京宝塚劇場の専属俳優募集の広告を見て俳優を志し、既成俳優を含む1300人の応募者から男16人、女9人の合格者の中に選ばれる。合格者の中には谷幹一、森野鍛冶哉、伏見信子、伊藤雄之助らもいた。しかし、大部屋生活に不満を持ち、それまで関心のなかった新劇を見るようになる。反戦劇に共鳴し、西欧近代劇や社会主義の本を片端から読みあさっていた。1936年（昭和11年）、新築地劇団付属研究所に入所、同期に殿山泰司、千秋実、多々良純らがいる。同劇団での初舞台となった水谷八重子主演の『女人哀詞』で茶店の親爺役を演じ、23歳にして早くも老け役を演じている。翌1937年（昭和12年）4月、研究所を卒業して正式に座員となり、『桜の園』『土』『どん底』などの作品に出演して頭角を現す。1940年（昭和15年）、新劇弾圧により薄田研二、本庄克二ら多くの劇団員が検挙され、加藤も築地署に1週間ほど留置され、劇団は解散させられた。翌1941年（昭和16年）、南旺映画製作の『流旅の人々』で映画に初出演する。同年5月、井上演劇道場・水谷八重子一座合同劇に水谷の相手役として出演。1942年（昭和17年）には明治座にも出演し、やがて井上正夫主宰の井上演劇道場に入るが、1943年（昭和18年）に応召。横須賀海兵団に入隊し、海軍経理学校の警衛分隊に勤務するうちに終戦を迎える。1946年（昭和21年）、道場を解散して第2次新協劇団に参加した井上に従って同劇団に入るが、1947年（昭和22年）に東京芸術劇場公演『林檎園日記』にフリーの立場で出演したのを機に、同年7月28日に滝沢修、宇野重吉らが結成した民衆芸術劇場（第一次民藝）に参加し、旗揚げ公演の『破戒』に出演。1950年（昭和25年）には劇団民藝（第二次民藝）創立に参加し、『その妹』等に出演するが、翌1951年（昭和26年）に民藝を退団。以降は活躍の場を映画に移したが、1965年（昭和40年）には文学座に入り、『女の一生』『五稜郭血書』などの舞台に立った。戦後の映画初出演作は吉村公三郎監督の『わが生涯のかがやける日』。1950年代は山本薩夫監督の『真空地帯』などの独立プロ映画に出演し、やがて東映専属となった。中でも『砂の器』は、ハンセン病を患う和賀英良の父親役を、回想シーンおよび物語終焉シーンにて生死の狭間と父親の深くも悲しい愛を演じた。鬼気迫る演技を見せ、代表作の1つとされた。『ふるさと』では痴呆気味の老人役を好演し、モスクワ国際映画祭最優秀主演男優賞を受賞。今井正、山本薩夫、内田吐夢、今村昌平、野村芳太郎ら多くの巨匠監督に重用されており、出演映画総数は300本を越える。私生活では、4度結婚した。1番目の妻との間に女子、2番目の妻との間に男子と女子を儲けている。1950年（昭和25年）に山田五十鈴と3度目の結婚をし、1952年（昭和27年）に夫婦で現代俳優協会を結成している。しかし、3年で離婚した。1958年（昭和33年）に『米』で親子役として共演した22歳年下の中村雅子と再婚し、女優の加藤千代を儲けた。1988年2月29日深夜、自宅の寝室で倒れ、救急車で運ばれたが、翌日になって間もなく脳卒中のため、搬送先の病院で死去。75歳没。演じる際には極度のあがり症だったことを、ドラマで息子役で共演した児玉清に告白している。