宮城県出身。千葉商科大学中退後、「高城 裕二」の芸名で映画デビュー。1964年（昭和39年）に東映東京の制作による数本の映画に脇役として出演した後に俳優業から離れたが、数年間のサラリーマン生活を経て、新宿を拠点に活動していた「劇団世代」に入団、本名の「高橋 俊行」を新たな芸名として1967年（昭和42年）に俳優業へ復帰。1968年（昭和43年）に東映京都テレビプロダクション制作のテレビ時代劇『俺は用心棒』の続編『待っていた用心棒』のレギュラーに抜擢（ばってき）され、無表情で無愛想だがさりげない優しさも見せる氏素性の不明な浪人『狂犬』を演じた。1970年（昭和45年）に芸名を「高森 玄」と改め、五社英雄が演出を手がける『新 三匹の侍』にレギュラー出演し、二刀流の達人・楓源三郎を演じた。芸名は1975年（昭和50年）に再び本名の「高橋俊行」へ戻している。レギュラーを務めたテレドラマ『待っていた用心棒』、『五人の野武士』、『新 三匹の侍』では善役を演じ、その後は悪役を中心に活動。歌手としても、1969年（昭和44年）にベトナム戦争の反戦歌であるシングルレコード「なんにもしねえのによ」をCBSソニーより出している。渡辺アーチストクラブ、極東エージェンシー、劇団世代、コヒナタ企画、志母沢事務所、サン・オフィス、葉山事務所などの所属を経て、1976年（昭和51年）頃、『新三匹の侍』で共演経験のある安藤昇が社長を務めていた芸能事務所「安藤企画」に移籍。1978年（昭和53年）を最後に出演作品がなく、その頃に引退したとものと思われる。
三重県松阪市生まれ。3歳の時に父を亡くし、大正14年（1925年）に一家とともに大阪に出て行く。小学校3年の半ばで中退。赤貧のため慢性的な栄養失調であった。トラコーマにかかり徐々に右目の視力を失う。13歳より名古屋の薬屋やパン屋、鉄工所などで丁稚奉公。その間に見たディック・ミネのギターを持ちながら歌うステージに感動し、みずから音の出ないギターを作っては河原で歌い、次第に流行歌の世界に傾倒していく（ベニヤ板の板切れで作った音の出ないギターを“イター”と呼んでいたという）。昭和13年（1938年）、ポリドールレコードの新人歌手北廉太郎の宣伝のため「伊豆の故郷」を課題曲とした新愛知新聞社主催のアマチュア歌謡コンクールに出場することを姉から勧められ、優勝する。ポリドールの勧めで上京し、鈴木幾三郎社長宅の書生となる。その時に知り合った同じ鈴木宅の書生が、「オースッ！」と挨拶することにヒントを得て、後にステージに出演する際に、田端義夫のトレードマークとも言うべき威勢のいい挨拶が生まれている。昭和14年（1939年）、同じく新進作曲家の倉若晴生の手による「島の船唄」でデビュー。当時は同じ会社の先輩に倣って、眼鏡をかけ、いがぐり頭の新人歌手として登場している。デビュー曲が当時レコード販売会社の組合で制定していた《ぐらも・くらぶ賞》を受賞するという快挙に恵まれ、その後も「里恋峠」、長津義司昨曲「大利根月夜」、「別れ船」「梅と兵隊」とヒットを続け、同じ会社のスター東海林太郎、上原敏と並ぶヒット歌手の地位を築いたのである。昭和16年（1941年）、日本橋きみ栄らとともに中国大陸に戦地慰問にも赴くが、その後は主に国内の軍需工場や基地を中心に終戦まで慰問活動を続けた。終戦後、レコード販売を止めていたポリドールを辞し、昭和21年（1946年）にテイチクに移籍。累計180万枚を売り上げた「かえり船」のヒットを出す。戦前の流れを組むマドロス歌謡で人気を博し、「かよい船」「たより船」長津義司作曲「玄海ブルース」と昭和20年代を代表するスター歌手として岡晴夫、近江俊郎らとともに戦後三羽烏と呼ばれた。スクリーンにおける活躍は早く、昭和15年（1940年）に松竹映画「弥次喜多六十四州唄栗毛」に旅人役として出演したのを皮切りに、戦後は、大映映画「淑女とサーカス」「肉体の門」、新東宝映画「底抜け青春音頭」「アジャパー天国」など、喜劇映画を中心に多くの出演作品を残している。1960年、山口組組長田岡一雄らとの会食中、店に偶然居合わせた明友会構成員にその場で歌うことを要求され、これに端を発して山口組組員と明友会構成員との殴り合いが起き、両組織の全面抗争に発展する（明友会事件）。殴り合いは田端と田岡の面前で行われたが、両者が直接殴り合いに加わってはいない。この頃は暴力団関係者と芸能人の付き合いは問題とされておらず、制作や興行を仕切る暴力団関係者との関わりなしでの芸能活動は困難な時代であった。昭和30年頃からはヒットが出ずに低迷の時期が続いた。昭和37年（1962年）、ポリドールから13年前に波平暁男の歌で発売されたものの奄美大島のみで歌い続けられていた「島育ち」（有川邦彦 作詞・三界稔 作曲）を、会社の反対を押し切ってレコーディング。田端の地道な活動が功を奏し、「島育ち」は40万枚を超える大ヒット。カムバックを果たし、昭和38年（1963年）にはNHK紅白歌合戦に初出場した。「新曲を出し続けることが、現役歌手の証し」と、その後も精力的に歌手活動を続け、「十九の春」「昭和三代記」「百年の愛」と平成になってからも新曲を出し続けた。一方、公演に訪れたアメリカ・ラスベガスのスロットで大金を掴むという話題も振りまいた。平成元年（1989年）には勲四等瑞宝章を受章。平成7年（1995年）には林伊佐緒に代わり、日本歌手協会の5代目会長に就任。平成16年（2004年）からは名誉会長の座にあった。平成9年（1997年）には、ロック・バンドソウル・フラワー・ユニオンの別動チンドン楽団ソウル・フラワー・モノノケ・サミットと、宮崎県の高千穂でジョイント・コンサートをおこなっている。平成13年（2001年）12月には、BEGINの比嘉栄昇が作詞・作曲して田端に提供した「旅の終わりに聞く歌は」を発表（「島唄2」からシングルカットされた「涙そうそう」のカップリングとして）。平成19年（2007年）には、1980年代までのレコーディングマスターや、未発表曲を元にしたアルバムがGEMより発売。手書きの歌詞カードなど田端の思い入れの込められた作品で、現役ぶりをアピールした。かねてより「90歳までは歌う」と公言しており、平成21年（2009年）の元旦（田端の満90歳の誕生日）に歌手生活70周年を兼ねた記念アルバムがテイチクより発売。語りおろしメッセージを収録し、健在であることを示した。平成25年（2013年）4月25日、肺炎のため東京都内の病院で死去。94歳没。生前にレコーディングした楽曲の総数は約1200曲に達した。没後に2013年度日本作詩大賞・テレビ東京特別賞と第55回日本レコード大賞特別功労賞が贈られた。戒名は「随心院歌岳義峰大居士（ずいしんいんかがくぎほうだいこじ）」。