福井県の棺桶造りや宮大工をしていた家に生まれ、5人兄弟の次男として育った。生家は乞食谷（こじきだん）という谷の上にあり、そこは死体を埋める谷のとば口で、一家は地元の素封家の所有する薪小屋に住んでいた。貧困から、9歳（一説には10歳）の時、京都の臨済宗寺院相国寺塔頭、瑞春院に小僧として修行に出され（この時、寺に住み込んで画の練習をしている南画家の服部二柳を見ている）、得度して水上秀英に改名するが、あまりの厳しさに出奔。その後、連れ戻されて等持院に移り、僧名承弁に改名。等持院の蔵書の小説本を無断で貪り読み文学への関心を持った。また等持院には東亜キネマの撮影所があって、撮影も手伝いもさせられた。これらの経験がのちに『雁の寺』、『金閣炎上』の執筆に生かされた。1933年旧制花園中学校（現・花園中学校・高等学校）3年に編入し、4年の時に『都新聞』に投稿するようになり、卒業後は寺を出て伯父の下駄屋で働き、むぎわら膏薬の西村才天堂の行商を経て、1937年（昭和12年）、立命館大学文学部国文学科に入学、同年に満州にある国際運輸社の社員となって奉天に渡るが、翌年結核を患い、帰国療養として若狭に戻る。文学書を読み漁り、水上努の名で『月刊文章』『作品倶楽部』に投稿、『月刊文章』で選外佳作となって初めて文章が活字になった。1940年に『作品倶楽部』選者の丸山義二を頼って東京へ出て、日本農林新聞に入社、農民文学懇話会の作家たちも間近に見る。また丸山の紹介で同人誌「東洋物語」に参加。そのメンバーの三島正六の紹介で報知新聞に入り、そこで和田芳恵の知遇を得て学芸社に移り、さらに印刷会社を経て三笠書房に勤める。この頃「東洋文学」は、情報局の命令で「作家精神」などと合同して「新文芸」となり、その編集にたずさわった。1943年に映画配給会社に移るが、東京都からの助成金を得て郷里に疎開、大飯郡青郷国民学校高野分校に助教として勤める。結核のために第二国民兵役だったが1944年には召集を受けて、京都伏見深草中部43部隊の輜重隊に所属。その後また青郷国民学校に戻り、終戦を迎えた。
寒門の生まれで、若くして父を失い、貧しいながら学問に打ち込んで倦まなかった。孝文帝の初年、中書教学博士となった。483年（太和7年）、仮の員外散騎常侍・建威将軍・衛国県子として、南朝斉への使節として立った。484年（太和8年）と485年（太和9年）にも斉に赴いた。後に秘書丞・参著作事に転じ、かつて崔浩や高允らが編年体で著述した北魏の国書を紀伝体に再編した。中塁将軍の号を加えられた。490年（太和14年）、文明太后が死去すると、群臣たちは孝文帝に服喪を解いて国事にあたるよう求めたが、孝文帝は許さなかった。このとき李彪・高閭・游明根らが孝文帝と激しい議論を応酬した。491年（太和15年）、員外散騎常侍の位を加えられ、斉への使節として立った。斉の主客郎劉絵の接待があり、宴楽の場が設けられたが、李彪は宴楽を辞退した。李彪は劉絵と礼について問答した。495年（太和19年）、孝文帝が南征すると、李彪は仮の冠軍将軍・東道副将となった。まもなく仮の征虜将軍となった。孝文帝が洛陽に帰ると、李彪は御史中尉に転じ、著作郎を兼ねた。汾州胡が反乱を起こすと、李彪は持節として慰撫にあたった。反乱が終息すると洛陽に帰り、御史中尉を兼ねたまま散騎常侍の位を受け、著作郎の任を解かれた。孝文帝が流化池で群臣と宴会を開くと、「崔光の博学と李彪の実直は、我が国家が賢者を得る基礎である」と李沖に語った。497年（太和21年）、孝文帝が再び南征すると、李彪は度支尚書を兼ね、李沖や任城王元澄らとともに洛陽の留守を預かった。李彪は豪気な性格で、李沖らと馬が合わなかった。また李彪は法官（御史）の地位にあったことから、自分を弾劾できる者はいないと考え、勝手気ままな振る舞いが多かった。李沖は李彪の非行を糾弾する上表をおこなった。孝文帝は懸瓠で李沖の上奏文を読むと、李彪を召し出した。孝文帝は李彪の官爵を剥奪し、ほどなく李彪は郷里に帰った。499年（太和23年）、孝文帝が死去し、宣武帝が即位すると、李彪は王粛や邢巒らに近づいて、旧職への復帰を図った。北海王元詳や王粛の口添えがあって、李彪は無官のまま修史の任にあたることとなった。501年（景明2年）、宣武帝が親政を開始すると、崔光が李彪を旧職に復帰させるよう上表したが、宣武帝は許さなかった。李彪は兼通直散騎常侍・行汾州事とされたが、李彪の望む任ではなかったため、辞退しようとした。しかし汾州への赴任は強行され、ほどなく病にかかった。秋、李彪は洛陽で死去した。享年は58。鎮遠将軍・汾州刺史の位を追贈された。諡は剛憲といった。