称为国画历史家之祖。高祖张嘉贞是玄宗朝宰相，曾祖张延赏是德宗朝宰相，祖父张弘靖是宪宗朝宰相，有“三相张家”之称。父张文规也是少耽墨妙，官至殿中侍御史。彦远博学能文，工书擅画，精鑑赏，唐玄宗称其家“图书兼蓄，精博两全。”“家聚书画，侔（相当于）秘府。”李绰称其家“三相盛门，博物多闻。”历官左仆射补阙，大中初年（847年），祠部员外郎，咸通三年（862年），迁舒州刺史，干符二年（875年），官至大理卿。大中元年（847年）撰成《历代名画记》。又尝从崔龟从、李荀写《续唐历》。博学有文辞，尤工书法，擅长隶书，书