信濃国佐久郡小諸城下与良町に小山敬義の次男として生まれる。小諸藩士の山本杏園に漢学を学び、明治5年（1872年）、私塾を開いて「孟子」を論ずる。同11年（1878年）新潟県師範学校に入学したが中退し、上京して興法学舎や、 中江兆民の仏学塾に学び、幸徳秋水とともに両高弟と称された。同15年（1882年）、自由民権の雑誌「政理叢談」の発刊に加わり、欧米の憲法論を紹介した。同20年（1887年）の保安条例で兆民らが「皇居三里外」に追放され、仏学塾が解散したため、後藤象二郎や大石正巳らと全国を遊説した。翌21年（1888年）大阪で「東雲新聞」を発刊し、国会開設運動を論じた。同31年（1898年）第6回衆議院議員総選挙に自由党から当選したが、板垣退助と決別し脱党し、改進党に入るが離党。議会で軍拡の地租増徴法案が審議された際、星亨の買収を暴露した。兆民の遺稿『一年有半』の出版に尽力したが、病没した。次男の小山亮も衆議院議員。
ペクサンの著した「フランス海軍の実施した新型兵器についての実験」はオランダ語に翻訳され日本にも輸入された。それを入手した武雄領主鍋島茂義（高島秋帆に弟子入りしていた）はさっそく日本語に翻訳し、1848年（嘉永元年）に佐賀藩主鍋島直正に献上している。1851年（嘉永4年）に会津藩が江戸湾（富津台場）の防備を命じられると、江川英龍に150ポンド（17貫300目）ペクサン砲の鋳造を依頼している。当時は音をとって「伯苦斬刪砲」、またはその特徴から「暴母加納」（ボム・カノン）と呼ばれていた。1853年（嘉永6年）のペリー来航の際、ペクサン砲を搭載した米国軍艦に乗り込んだ浦賀奉行所与力中島三郎助は、その大砲がペクサン砲であることを見抜いたとされている。
ロシア海軍は、ペクサン砲を大量に戦闘に使用した最初の海軍である。1853年のシノープの海戦において、ロシア海軍の艦艇はそのペクサン砲の炸裂弾でトルコ艦隊を攻撃、撃滅した。砲弾はトルコ艦艇の木製外板を貫通し艦内で爆発し、火災を起こさせた。
バージェスは初期のコンペに落選していたが、イングランド・ビクトリア期の半ばに始まった建築スタイルの危機に、初期フランス様式が答えを与えられるという信念を持ち続けており、「私は13世紀の信念で育てられ、その信念を持って死ぬつもりだ」と記していた。35歳になった1863年に、コークのセント・フィン・バーレの大聖堂という最初の大きな注文を得ることができた。バージェスはその日記に「コークを得た!」とその喜びを記している。セント・フィン・バーレの大聖堂のコンペは、1735年に建てられた現存建築に不満が広がった結果として生じた。この建物について、「ダブリン・ビルダー」誌が「コークを長く不名誉にしていた大聖堂のみすぼらしい謝罪」と表現していた。イギリス諸島ではセント・ポール大聖堂以来となる大聖堂の建設だった。提案された予算は15,000ポンドと安かったが、バージェスはこの拘束条件を無視し、2倍も掛かることになると自ら認めるようなデザインを行った。仲間のコンペチターからの抗議にも拘わらず、バージェスが入選した。ただし最終的な建設費は10万ポンドを超えることになった。アイルランドでは以前に、キャリグロヘインのセントピーター教会、テンプルブリーディのホリー・トリニティ教会、フランクフィールドおよびダグラスで働いたことのあったバージェスは、司教のジョン・グレッグなど地元の強い支持が得られた。さらに、「アイルランド・ハンドブック」に記されているように、バージェスは中世様式に対する愛情を、プロテスタントの豊かさを目に付きやすく表現することと組み合わせた。これは、確立されたアイルランドの英国国教会がその優越性を主張することを求めていた当時、重要な要素だった。外観には以前に実行されなかった計画のものを再利用した。全体デザインはクリミア記念教会とブリスベンのセントジョンズ大聖堂のものから採られ、正面はリール大聖堂のものから採られた。この建物の大きな問題点はその大きさだった。その資金集め組織は多大な努力をしたが、またバージェスは当初予算を超過したが、コークでは依然として真に大きな大聖堂を造る余裕がなかった。バージェスは3基の尖塔で雄大さを表現し、他の部分は小さくすることで相殺して、この問題を克服した。この大聖堂は、大きさでは控えめだったが、大変豊かな装飾を施された。バージェスは以前にやっていた通り、バッキンガム通りの事務所から、また多くの訪問した場所に行く途中から、彫像、ステンドグラス、家具までデザインのあらゆる面を監督し、個人的に関わる度合いが強かったために、その設計費については通常の5%より高い10%を請求した。西面を飾る彫刻や建物の内外面を飾る彫刻の1,260体全ての図面を引いた。74有ったステンドグラスの大半については下絵をスケッチした。モザイク舗道、祭壇、説教団、司教座をデザインした。ローレンスとウィルソンはその結果を「教会建築における（バージェスの）疑いもなく最大の作品」であり、内装は「圧倒させるものであり、夢中にさせるものである」と考えている。バージェスの能力、そのチームの注意深い指導、全体的な美観の統制、さらに当初予算の15,000ポンドを遙かに超えたことを通じて、その大きさは教区教会の規模をあまり超えてはいないが、印象においてはローレンスとウィルソンの研究で「ある都市とその子孫が全能者の称賛に値する記念碑と見なすことができるような大聖堂」と表現した建物を生みだした。