イギリス・ロンドン生まれ。東京市麻布区市兵衛町（現在の東京都港区六本木）出身。父親の山形巌は1881年大阪生まれ。少年時代にサーカス団員となり、1917年の帰国まではヨーロッパ各国で軽業師をしていた。1935年に日本俳優学校を卒業。兵役を経て1936年に東宝劇団に入団した。1942年、佐々木隆、鈴木光枝、山村聰らと劇団文化座を結成。同座には1953年まで在籍した。1949年、『斬られの仙太』で映画に初出演した。初めは市川崑の監督作品や黒澤明監督の『七人の侍』などに出演していたが、しだいに悪役として注目され、その後は東映時代劇に多く出演、品のある悪役として活躍した。時代劇のほか、現代劇でも活躍しており、大学教授・会社重役・高級官僚などの役を演じることが多かった。1976年公開の山崎豊子原作の映画『不毛地帯』（山本薩夫監督）では仲代達矢演じる主人公・壱岐正を招き入れる近畿商事の大門一三社長を演じている。テレビドラマにも多く出演している。特に、『剣客商売』では加藤剛演じる剣客・秋山大治郎の父親の秋山小兵衛役で主演。また、『水戸黄門』では第1部から第18部まで柳沢吉保を演じ、はまり役と言われた。若い頃に肺結核を患い手術で一命を取り留めるが片方の肺を失い、この手術の影響で後年は片方の肩が落ちていたそうである。また、肺結核の手術を受けた時期に新東宝製作で鈴木英夫監督の映画『殺人容疑者』（1952年）の主役である犯人役のオファーを受けているが辞退し、代役を当時まだ新人だった丹波哲郎が演じ映画デビューを飾ることとなった。1953年に大映初の総天然色イーストマンカラー映画で第7回カンヌ国際映画祭でグランプリを受賞した映画『地獄門』（衣笠貞之助監督）に京マチ子の夫役で準主演しているが、のちに定着する悪役のイメージとは全く異なる善人を演じている。その代わり、主演の長谷川一夫が悪役を演じている。文化座を共に結成した山村聰とは長年のライバルで、山村との共演の話が来ると『いつでも勝負するから四つに組む役を取って来なさい』と意気込んでいたそうである。山形と山村は映画の他にもテレビドラマでも共演しており、1974年放送の『華麗なる一族』では山村は主役の万俵大介を、山形は永田大蔵大臣をそれぞれ演じ、お互いに引けを取らない白熱の演技を見せた。1972年放送の円谷プロ製作の特撮テレビドラマ『ウルトラマンA』の第14話「銀河に散った5つの星」で防衛組織TACの高倉司令長官役で一回のみゲスト出演。その際、歴代のウルトラシリーズに登場した防衛組織の長官らとは一線を画した傲慢な軍人を演じ、現在でもファンの間で語り草となっている。出演映画が米国アカデミー賞と世界三大映画祭（カンヌ・ベルリン・ヴェネツィア）のすべてで受賞しており、4冠を達成している。1988年に勲四等瑞宝章を受章した。1996年6月28日、若いころから患っている肺結核のため、東京都府中市の東京都立府中病院で死去した。80歳没。長男はテレビ朝日プロデューサーの塙淳一。
2007年1月、建設交通部は務安国際空港の工事が予想より速く進んでいることを理由に、務安-光州高速道路の全通を待たず、2007年11月にも開港させる方針であることが、部関係者の発言として伝えられた。日程の変更は、建設交通部が前年末の大統領指示に対応して行ったものとして受け止められた。また2007年11月という開港時期の設定は、翌月の2007年12月に大統領選挙が予定されていたことから、大統領選挙での集票を狙った設定だとする見方も一部にあった。全国紙の中央日報は、大統領の指示で務安国際空港や東南圏新空港が推進に転じた前年末からの動きを取り上げ、地方空港全般が赤字である中で新空港の開発を推進することに批判的な意見を掲載した。これに対して建設交通部は報道資料を出し、木浦空港の国内線機能、光州空港の国際線機能を移転させること、空港周辺に開発される務安企業都市や韓中自由化などによる需要増加を勘案すれば、務安空港の需要には問題がない、と反論した。以降、11月開港は既定の方針となり、開港後に空港の運営・管理を担当する韓国空港公社や釜山地方航空庁の準備作業が進められた。並行して務安国際空港開港支援協議会が構成され、開港後の空港活性化策が数回にわたって話し合われた。開港が目前に迫った10月、李庸燮建設交通部長官が木浦大学校で行った講演において務安国際空港に言及、光州空港の国際線を務安に移転することに対して光州側から反対意見が出ていることに触れ、務安-光州高速道路が開通すれば光州-務安間の移動に大きな問題はないと指摘、大局的な見地から移転を受け入れるよう求めた。しかし光州側の反発は高まり、市民団体や光州商工会議所が務安移転反対総決起大会を開き、光州広域市を構成する5区のうち、光州空港のある光山区を除く4区の区長が連名で反対を主張した。また、光州市議会は務安移転反対を決議、朴光泰光州市長も李庸燮建設交通部長官に対し開港の延期を要求した。結局、務安-光州高速道路が全通するまでの間という条件付きで、光州発着の既設の国際線については、航空会社の希望により暫定的に光州残留が認められることになった。光州に国際線を就航させている各社は既に務安への移転準備を進めていたが、光州-上海線を運航する大韓航空、10月に光州-北京線を開設したアシアナ航空は、いずれも光州残留を希望し、光州-上海線を運航している中国東方航空だけが務安への移転を決めた。2007年11月8日、開港式が行われた。翌11月9日からは通常の運航が開始されたが、定期便は国内線・国際線がそれぞれ一日1往復に過ぎなかった。12月、建設交通部は務安国際空港を航空協定によらず、外国航空会社の自由な乗り入れを認める「自由空港」とすると発表し、就航路線の拡大を図った。しかし光州空港発着の国際線が存続し、出入国管理要員が務安国際空港と光州空港の両方を担当することになったため、光州空港に国際線が発着する時間帯の務安国際空港への国際線乗り入れは制限された。務安国際空港に就航を予定していた航空会社の中には、希望する時間帯の乗り入れが認められないことを理由に、就航を取りやめるところも出てきた。この状況は2008年5月に務安-光州高速道路が光州に達し、残留していた光州発着の国際線が務安国際空港に移転したことにより解消されたが、その後2008年7月頃から各路線で運休・減便が相次いだ。全羅南道は赤字路線の支援策を打ち出すなど対策を行っているが大きな効果は出ておらず、厳しい状況が続いている。