文化11年1月12日（1814年3月3日）、三河吉田藩領であった近江国浅井郡高畑村（現滋賀県長浜市高畑町）に、医師・横山玄篤（東湖）の長子として生まれた。横山家は加賀藩家老横山党と同族で平安時代前期の公卿・小野篁の後裔と伝えられ、後に小野へ改姓した。当初家業を継ぐべく彦根藩医に医術を学ぶが、本人の好む所でなかったことから、近村の儒者・大岡右仲（松堂）に経書史書を学び、文政9年（1826年）に父と共に京都において頼山陽に面謁し朱子学漢詩を学ぶことを決意した。天保元年（1830年）、九州への漫遊の途上彦根に立ち寄った梁川星巌に会し入門を許され、翌年江戸に向かい、尾藤水竹・藤森弘庵・林大学頭に師事し、梁川星巌が起こした玉池吟社の社友となり頭角を現した。江戸において生地の領主である松平信古の求めに応じ三河吉田藩儒者となり藩政に関与、後に正式に藩士（60石取り）に取り立てられた。天保9年（1839年）、水戸に出遊し、藤田東湖・武田耕雲斎と交友し徳川斉昭と面閲を得て、勤皇の念を篤くし、師・梁川星巌、頼三樹三郎、藤森天山、勝野台山等と共に国事に奔走していたところ、安政の大獄が起こり吉田藩は湖山の身を守るため敢えて吉田城内に幽閉した。桜田門外の変後、幽閉を解かれた湖山は吉田に留まり藩政に関与し、後に京二条家より招かれると藩主と共に上京、朝廷より国事掛に命じられ、幕末より勤皇の士として巌谷一六等と奔走した。明治維新後は従五位に叙せられ、新政府の総裁局権参事・記録局主任となったが、明治6年（1873年）の廃藩置県の後、家督を子息に譲り、東京で詩酒自適の生活を送った。その間、政府の再要請を固辞し、詩壇の重鎮として詩作を続けた。明治16年（1883年）、明治天皇より硯を賜り、感激して書斎を賜硯楼と名付けた。明治43年（1910年）4月10日、太東岬の別宅において老衰により死去。享年97。湖山は少壮より経世の志し有り詩を以って家名の有ることを欲せず。詩は豪胆淡雅・格調が高いと評されている。
慶応3年（1867年）10月大政奉還により政権を朝廷へ返上した15代将軍徳川慶喜は、新設されるであろう諸侯会議の議長として影響力を行使することを想定していたが、討幕派の公家岩倉具視や薩摩藩の大久保利通・西郷隆盛らが主導した12月初旬の王政復古の大号令とそれに続く小御所会議によって自身の辞官納地（官職・領土の返上）が決定されてしまう。慶喜はいったん大坂城に退くが、公議政体派の山内容堂（前土佐藩主）・松平春嶽（前越前藩主）・徳川慶勝（前尾張藩主）らの工作により、小御所会議の決定は骨抜きにされ、また慶喜も諸外国の公使に対して外交権の継続を宣言するなど、次第に列侯会議派の巻き返しが顕著となってきた。大政奉還の少し前の慶応3年10月13日そして14日には討幕の密勅が薩摩と長州に下される。江戸薩摩邸の活動も討幕の密勅を受けて活発化して定め書きを書いて攻撃対象を決めた。攻撃対象は「幕府を助ける商人と諸藩の浪人。志士の活動の妨げになる商人と幕府役人。唐物を扱う商人。金蔵をもつ富商」の四種に及んだ。江戸薩摩藩邸の益満休之助・伊牟田尚平に命じ、相楽総三ら浪士を集めて攪乱工作を開始。 しかし、慶応3年10月14日、同日に大政奉還が行われ、討幕の実行延期の沙汰書が10月21日になされ、討幕の密勅は事実上、取り消された。 既に大政奉還がなされて幕府は政権を朝廷に返上したために倒幕の意味はなくなり薩摩側も工作中止命令を江戸の薩摩邸に伝える。 ただそれでも江戸薩摩藩邸の攘夷派浪人は命令を無視して工作を続けていた。江戸市中警備の任にあった庄内藩がこれに怒り、12月25日、薩摩藩および佐土原藩（薩摩支藩）邸を焼き討ちするという事件が発生した。この報が12月28日大坂城にもたらされると、城内の強硬派が激昂。薩摩を討つべしとの主戦論が沸騰し、「討薩表」を携えた幕府軍が上京を試み、慶応4年正月3日鳥羽（京都市）で薩摩藩兵と衝突し、戦闘となった（鳥羽・伏見の戦い）。しかし戦局は旧幕府軍が劣勢に陥り、朝廷は薩摩・長州藩兵側を官軍と認定して錦旗を与え、幕府軍は朝敵となってしまう。そのため淀藩・津藩などが旧幕府軍から離反し、慶喜は6日、軍を捨てて大坂城を脱出、軍艦開陽丸で海路江戸へ逃走した。ここに鳥羽・伏見の戦いは幕府の完敗で終幕した。新政府は7日徳川慶喜追討令を発し、10日には慶喜・松平容保（会津藩主、元京都守護職）・松平定敬（桑名藩主、元京都所司代）を初め幕閣など27人の「朝敵」の官職を剥奪し、京都藩邸を没収するなどの処分を行った。翌日には諸藩に対して兵を上京させるよう命じた。また21日には外国事務総督東久世通禧から諸外国の代表に対して、徳川方に武器・軍艦の供与や兵の移送、軍事顧問の派遣などの援助を行わないよう要請した。これを受け25日諸外国は、それぞれ局外中立を宣言。事実上新政府軍は、かつて諸外国と条約を締結した政府としての徳川家と、対等の交戦団体として認識されたことになる。