3歳からピアノを始め、16歳でヒップポップとジャズダンスを始める。2002年3月に国立音楽大学器楽学科ピアノ専攻を卒業、2001年頃から曲作りを始め、現在はライブハウスやイベントを中心に活動。
千葉県出身。東京大学文学部卒業後、同大学大学院人文科学研究科修了。神戸大学教養部講師・助教授、立教大学文学部教授を経て、立教大学名誉教授、上海交通大学名誉教授。澤藤統一郎が大学時代の同窓。
少年・少女向けから大人向けまで、幅広い分野で多彩な技量を見せていた。新分野への挑戦にも意欲的であり、番長漫画が流行した当時には、自らも『あばれ天童』を描いている。その単行本の前書きにおいては「新人になったつもりで描いた」とコメントしている。手塚は「彼の作品は、計算の上にサービス精神を横溢させている」と評している。漫画家のゆうきまさみはコラム『はてしない物語』などで「コマとコマの間を読ませるという意味で、横山氏の右に出る者はいない」と語っている。
遺産は長男の横山輝利（てるとし、光プロダクション代表取締役の一人）と長女が相続したという。後に輝利は光プロのパーティで亡父の昔の単行本の再発行版決定に関してのスピーチの際に「大変読み易く、亡父が見ても納得してくれると思う」と述べている。横山の生前時、「私の納得できる最善の出来ではない」という理由で、単行本化されない作品が多数あった。しかし横山の死後は『ジャイアントロボ』等々のこうした作品が相次いで単行本化されている。2007年、生地である兵庫県神戸市長田区の新長田駅周辺の商店街などでは毎年夏頃に「三国志祭」が開かれ、2009年9月29日には同駅近くの若松公園内に高さ15.6m（全長18m）の実物大の鉄人28号モニュメント像が完成した。総工費は1億3,500万円で神戸市の補助金の他に寄付や協賛金などで集められた。
晩年の1999年（平成11年）には大病を患い療養。2004年（平成16年）に日本漫画家協会賞文部科学大臣賞を受賞した。同年4月7日『鉄人28号』（第4作）が放送開始。4月11日に東京都古書籍協同組合が組合員を対象として14～15日に開く全古書連大市会にて横山の未発表作品が入札にかけられると報道され、これに対し「売りに出されるのは不愉快」と発言していた。それから間もない同年4月15日朝方、東京都豊島区千早の自宅で火事に見舞われ、全身火傷を負って意識不明の重体となり、同日22時に日本大学医学部附属板橋病院にて死去した。69歳没。出火原因は寝煙草の不始末で、数年前に足を骨折した後遺症のため逃げ遅れたという。遺作は2005年1月に完結した『殷周伝説』。次作については、兵法書『孫子』で著名な兵法家・孫武の物語を構想していたと編集部が明かしている。
少年時代は鳥取県に家族と疎開していた。神戸市立太田中学校、神戸市立須磨高等学校を卒業。手塚治虫の『メトロポリス』に感銘を受けたことから本格的に漫画を志し、高校時代より『漫画少年』『探検王』などに作品を投稿するようになる。高校卒業後神戸銀行（後の太陽神戸銀行→太陽神戸三井銀行→さくら銀行を経て現在の三井住友銀行）に入社するが、漫画を描く時間が取れず退職。その後映画会社の宣伝部員としてチラシを描く合間、貸本漫画に携わる。
ノーサンバーランドのアニック近くの、エグリンハム（Eglingham）の牧師館で生まれた。ダラム大学とオックスフォード大学のリンカーン・カレッジで学び、1846年に司祭に叙階された。結核にかかり、健康のための転地のために、バーミューダに移り、1847年から1849年の間、バーミューダ総督の秘書として働いた。サハラ砂漠を探検し、1857年にパレスチナを訪れ、その後も1863年と1872年にもパレスチナを訪れ、自然観察するとともに、聖書に記述されている場所を特定する研究を行った。1863年からのパレスチナ旅行には、鳥類学者のバートレットが同行した。1873年にダラム大聖堂の司教に任じられた。1881年に再びパレスチナ、レバノン、メソポタミア、アルメニアを旅した。日本にも、英国聖公会宣教協会によって大阪に設立されたプール女学校（永世女学校から改名、後、プール学院）の校長を務めた娘のキャサリン・アリス・サリバン・トリストラムをたずねて訪れ、旅行記『日本漫歩』（"Rambles in Japan: the Land of the Rising Sun"）を発表した。著書には"The Great Sahara" (1860)、 "The Land of Israel, a Journal of Travels in Palestine, Undertaken with Special Reference to Its Physical Character" (1865)、"The Natural History of the Bible" (1867)、 "The Daughters of Syria" (1872)、 "Land of Moab" (1874)、 "Pathways of Palestine" (1882)、 "The Fauna and Flora of Palestine (1884)"、"Eastern Customs in Bible Lands" (1894)などがある。進化論に対しては鳥類学雑誌、Ibisに論文を発表し容認の立場を発表した 。イギリス鳥学会（British Ornithologists' Union）の創立メンバーであり、1868年に王立協会のフェローに選ばれた。鳥類の剥製のコレクションを作り上げ、コレクションはリバプール博物館に売却された。ムクドリ科の鳥、Onychognathus tristramiiなど多くの鳥などに献名されている。