明治5年（1872年）6月23日、田安徳川家第8代当主・徳川慶頼の六男として東京府下本所横網町（現在の東京都墨田区横網一丁目）の田安邸で生まれる。生母は沢井八重子。幼名は藤之助。明治13年（1880年）2月2日、紀州徳川家第14代当主・徳川茂承の養子になり頼倫と改名した。明治18年（1885年）に学習院に入学したが、成績不振により学習院中等学科を中退し、山井幹六の養成塾に入った。また、三宅米吉や津田梅子、英国人のアーサー・ロイド（慶應義塾教授）、米国人のウィリアム・S・リスカム（慶應義塾教授）らに師事して漢学と英語を修めている。鎌田栄吉によると、養子となった頼倫の不成績を快く思わない旧紀州藩士が多く、頼倫自身も陰気になっていたという。明治23年（1890年）9月14日に養父の長女である久子と婚姻する。明治29年（1896年）、イギリスのケンブリッジ大学に留学して政治学を専攻。留学中には南方熊楠の案内で大英博物館を見学したり、熊楠を介して孫文と出会ったりしている。明治31年（1898年）に2年間の留学と欧州視察を終えて帰国。明治35年（1902年）4月に東京市麻布区飯倉町六丁目14番地（現在の東京都港区麻布台一丁目）の邸内に南葵文庫を設立。明治39年（1906年）8月21日に家督を相続し、9月7日に襲爵して貴族院議員となる。明治44年（1911年）に数十万円の基金を拠出して南葵育英会を設立し、和歌山県出身の就学困難者に奨学金の貸与や学生寮の提供などを行う一方、南葵育英会の賛助者を募るため、和歌山県をはじめとして全国各地の行脚を試みた。大正2年（1913年）6月15日、市島謙吉や和田万吉の要請で日本図書館協会総裁に就任する。大正10年（1921年）に内閣総理大臣・高橋是清が内閣改造を模索していた頃、頼倫は研究会と立憲政友会の仲介人として注目され、実現のために坐漁荘の元老・西園寺公望を訪ねたが、政友会内部の対立により内閣改造は沙汰止みとなった。大正11年（1922年）6月3日、宗秩寮総裁に就任し、在任中は宮中某重大事件直後に起こった朝融王の婚約破棄事件の処理に尽力した。大正13年（1924年）8月に狭心症の発作で失神したこともあり、大正14年（1925年）1月18日から和歌山県の和歌浦や湯崎温泉で療養を行った。同年3月31日に帰京し、快癒後は毎日宮内省に出勤するようになり、5月18日も徳川家理事会を欠席して出勤した。同日19時に東京駅で侯爵李鍝を見送り、22時に豊多摩郡代々幡町代々木上原1177番地（現在の渋谷区上原）の本邸に帰宅した。その直後、顔面蒼白となり苦痛を訴えたため医師が応急処置を施したが、翌5月19日午前0時10分に死去した。52歳没。死因は心臓麻痺。同日付で勲一等瑞宝章を受章し、特旨により正二位に叙された。遺体は特別列車で菩提寺の長保寺へ移送され、同年6月3日に埋棺式が行われた。戒名は樹徳院殿□城高節大居士。家督は長男の頼貞が継いだ。
万延元年（1860年）2月父・東谷上下ェ門（ひがしたに かみしもえもん）と母・奈々芽（ななめ、本編では既に故人）との間に生まれる。信州出身で、赤報隊に憧れて家出し準隊士となった。隊長の相楽総三を師と仰ぎ、維新後も彼と同じ相楽の姓を名乗るほど尊敬している。その後、赤報隊が「偽官軍」として汚名を着せられ抹殺され、総三も濡れ衣を着せられ処刑されたことで、維新志士や明治政府を憎み、敵対視していた。原作では赤報隊は無実を証明するために出頭し、出向いた全員が打ち首となった。アニメでは左之助含めて銃士隊に包囲され問答無用で仲間たちが射殺されていき、最後まで相楽総三を連れて逃げたが崖に追い詰められ、左之助だけでも生きるようにと総三に突き落とされ逃げ延びたエピソードになっている。アニメ版では自分を裏切った黒幕が登場し、左之助と津南（後述）に成敗され不正も暴かれ復讐されている。明治となってからもその恨みは消えず、“斬”馬刀の“左”之助に由来した「喧嘩屋 斬左（けんかや ざんざ）」の異名の下、喧嘩屋（喧嘩の代行人）としての裏稼業で生計を立てていたが、剣心と出会い徐々にその心を変化させていく。喧嘩屋を廃業してからは収入が無いため、過去の蓄えや人情で暮らし、神谷道場に食事をたかりに行ったり、赤べこでツケにしてもらったりして生活していた。その後、同じく逃げ延びた親友・月岡津南（本名・克浩）の存在を知り久方ぶりに語り合う。その中で彼が政府に対する復讐心を燃やし続けていたことを知り、彼につき合う形で加担を決意。剣心たちを呼んで最後の宴会を開き、津南と共に内務省を襲撃するがそこへ剣心が現れる。津南と剣心の戦いになるが歯が立たず、時間をかけすぎたため撤退を決意し津南を気絶させた。その後、復讐のために用意していた炸裂弾は剣心の手で処分され、津南もまた左之助から「このままじゃ本当にニセ官軍になっちまう」と説得され改心した。道中、もしもあのまま引き下がらなかったら力尽くでも止めたという旨を剣心から聞き、左之助は感謝を示した。アニメ版では結末がまったく異なっており、剣心と戦ったのは左之助である。原作でのやり取りでもあった用の左之助は剣心によって力尽くで止められることとなる。剣心に一方的に打ちのめされながらも倒れるまで戦い抜き、気絶した後は津南に助けられ撤退。左之助を痛めつけた剣心を津南は怨んだが、左之助が自分たちを止めてくれたことに感謝しているのを知り、津南は改心した。京都編では自分を完膚なきまでに倒した斎藤を一方的にライバル視し、決着を付けることを望んでいた。しかし志々雄との戦いの後、斎藤が行方不明になってからは決着を付けるのではなく、彼を超えることを目標にするようになり、人誅編では斎藤に対する対抗心を見せなくなった。数々の戦いの後、故郷の家族を助けるために、政府高官に立ち向かったことでお尋ね者となる。それを逃れるために5年かけてアメリカ・ヨーロッパ経由で（つまり地球一周して）モンゴルに渡り馬賊となり、日本への帰国を目指している。彼の「悪一文字」は弥彦と弟の央太に受け継がれた。『明日郎 前科アリ（異聞）』ではラストシーンに後ろ姿が登場。某国の街灯が並び立っているとある通りを歩いており、北海道編にて帰国。横浜まで来たと思っていたら実は函館に到着しており、三日三晩彷徨った所で越次郎を探しに来た剣心達と再会し、剣心の要請に応じて剣客兵器との戦いに協力することになった。