高校時代はアメリカンフットボールの他にバスケットボール、野球を行った。ノースカロライナ大学では当初タイトエンドとしてプレーしたが、その後オフェンシブタックルにコンバートされ、1993年アトランティック・コースト・カンファレンスのファーストチームに選ばれた。またロングスナッパーも務めた。1994年、ドラフト外フリーエージェントでマイアミ・ドルフィンズと契約し10試合に出場した後、カットされ残りシーズンをグリーンベイ・パッカーズのプラクティス・スクワッドで過ごした。1995年11月、故障者リスト入りした。1996年にバッファロー・ビルズに加入、2000年まで5シーズンを過ごした。2001年6月3日、サラリーキャップを空けるため、バッファロー・ビルズから放出され、その後ワシントン・レッドスキンズと契約を結んだ。2005年3月3日、レッドスキンズと再契約を結んだ。2006年2月、レッドスキンズと再契約を結んだ。2007年に初のプロボウルに選ばれた。プロボウルではこの年シーズン中に殺されたショーン・テイラーの背番号21をチームメートのクリス・クーリー、クリス・サミュエルズと共に着けてプレーした。2008年2月、レッドスキンズと再契約を結んだ。2009年2月13日にもレッドスキンズと1年の再契約を結んだ。2010年、レッドスキンズは若返りを図りオルブライトと再契約を結ばなかった。9月28日、1994年から2010年までロングスナッパーを務めていたデビッド・ビン、その後獲得されたライアン・ニールがそろって故障者リスト入りしたサンディエゴ・チャージャーズと契約を結んだが、2週間後の10月13日にチャージャーズから解雇された。
東京都赤坂生まれの島根県邑南町育ち。1904年8月30日生まれの父・渡弘文は、島根県大田市大家地区の名家出身で、関西学院大学卒業後沖島鎌三衆議院議員私設秘書、大阪海上火災保険従業員などを経て、協営商会設立に参画。文明の名は沖島鎌三衆議院議員による命名。1909年12月17日生まれの母・鈴は、島根県阿須那村（現邑南町）で造り酒屋・池月酒造を営み、特定郵便局長などを務める地主・末田家出身。従兄弟伯父には画家の末田利一・元東京藝術大学名誉教授がいる。遠縁に日本マクドナルド社長を務めた藤田田。父母ともに1994年に死去。1940年生まれの弟・渡克己は王子製紙常務や旭洋紙パルプ社長・会長を務めた。東京市中之町尋常小学校付属幼稚園（のちの港区立中之町幼稚園）、乃木国民学校（のちの港区立赤坂小学校）を経て太平洋戦争の戦局悪化に伴い、1944年から母とともに母の実家のある島根県邑南町に一時疎開し、阿須那国民学校に編入した。その後、末田家養子入りの話を断り、1947年帰京。祖師谷の新築の家に住み、世田谷区立祖師谷小学校を経て、成城学園中学校・高等学校に進学。中高では柔道部に所属した。高校卒業後、1年間の浪人を経て慶應義塾大学経済学部に入学。数学が得意でもともと理工系が好きだったが、技術者ではなく経営者を志して大学受験では文系の学部を受験。東京商科大学（現・一橋大学）と早稲田大学にも合格したが、蹴って慶應義塾大学へ進学した。山本登ゼミを経て入った矢内原勝ゼミの第一期生で、始めは三菱商事や三井物産などの商社や、東京海上火災保険、丸善石油志望だった。1960年に慶應義塾大学経済学部を卒業。父と親しかった十条製紙社長・金子佐一郎の紹介で日本石油の坂牧善一郎常務から推薦状を得て、同年名前も知らなかった日本石油株式会社に入社。直後に新潟製油所運輸課に配属され、原油の袋詰をトラックに積んで回収して回るという業務をこなす。この時の「油々寮」の4年先輩にいた島村宜伸らとともに麻雀や半玉との合コンをしたりした。1964年3月、慶應義塾大学同窓にあたる上司の新潟製油所運輸課長から推薦状をもらい、大阪支店販売調整課に異動。神戸市の甲南女子大学近くの独身寮に住み、宝塚歌劇団団員を招き寮祭を開いたりした。1966年結婚し東京ヒルトンホテル（のちのキャピトル東急ホテル）で結婚式を行った。1940年1月1日生まれの妻・新子は、4歳年下で、雙葉高等学校を経て共立女子大学卒業後家事見習いをしていたところ、文明と見合いで知り合った。二男一女。1970年4月に東京本社販売部黒油課に栄転となる。A重油販売の企画をたて、何度も品切れを起こすほどの成果を出し、5月には係長に昇格した。1972年から本社販売部白油課ガソリン担当係長。有鉛ガソリンが原因と考えられた牛込柳町鉛中毒事件に関し社を代表して石油連盟の対策会議に出席した。1971年から欧州石油事情調査団の一員として渡欧。また1973年には石油ヤミカルテル事件に関し樋渡利秋・東京地方検察庁検事やその上司の北島敬介検事、公正取引委員会から事情聴取を受けたが、交渉により供述調書の修正を行わせるなどし、不起訴となった。同時期に日本石油労働組合本社支部副委員長を兼務し、激しい組合活動の結果、1974年には2万円の賃上げを行わせることに成功した。激務のため2時や3時に帰宅する日が続いていた中、血尿などのため会社診療所の医師に受診すると、劇症肝炎が発覚。1975年、39歳にしてついに過労から病に倒れて、義姉の夫が外科医長を務めていた国立病院医療センター（現国立国際医療研究センター）へ、2ヶ月ほど長期入院を余儀なくされ、完全に出世コースから外れたと思われたが、着実に販売実績を挙げて、1978年3月、本社販売2部燃料課課長代理に同期より1-2年遅れではあるが昇格。1981年には販売2部燃料1課長に昇格、1984年から販売1部販売課長を務め、販売部副部長を経て、平成2年（1990年）に販売部長に就任した。1992年には取締役販売部長に昇格。1995年常務取締役、1998年6月副社長。