長州藩士で武術指南役（1000石）であった有地藤馬の長男として生まれる。戊辰戦争では干城隊士として奥羽に出陣した。明治2年（1869年）から同4年（1871年）まで欧州へ出張して普仏戦争を視察。帰国後に陸軍少佐、御親兵6番大隊長となり、同年から明治6年（1873年）まで侍従を務める。同年に海軍に転じ、海軍少佐となって提督府分課に勤務。明治14年（1881年）に「日進」艦長に就任。明治15年（1882年）には海軍大佐に昇進し、海防艦「比叡」、「筑波」の艦長を歴任する。「筑波」艦長であった明治17年（1884年）、遠洋航海に出発した。前年の航海では乗組員に多数の脚気患者が発生し、23名が死亡していた。そこで、海軍軍医・高木兼寛の指導で洋食を導入した結果、脚気患者の発生が激減し、一人の死者も出ることがなかった。同年12月に軍事部（後の軍令部）次長となり、参謀本部海軍部第1局長を経て、明治19年（1886年）に海軍少将・横須賀軍港司令官、翌年まで海軍機関学校校長を兼務。明治20年（1887年）に海軍兵学校校長となり、教育に柔道を導入している。明治22年（1889年）から同24年（1891年）まで海軍参謀部長、さらに常備艦隊司令長官を経て、明治25年（1892年）12月12日に海軍中将・呉鎮守府司令長官となり日清戦争を迎えた。明治28年（1895年）5月に再び常備艦隊司令長官となり連合艦隊司令長官を兼務した。同年10月、日本領となった台湾において、抵抗した中国人がイギリス商船「テールス号」に逃げたため、配下の通報艦「八重山」がこれを追跡して臨検を行うという事件が起きた。これが公海上で行われたことからイギリスから抗議を受け、外務省は海軍に対して責任者の処罰を要求した。その結果、有地と八重山艦長の平山藤次郎大佐を予備役に編入することで解決が図られ、同年11月16日、待命となり、同12月19日、予備役に編入された。明治29年（1896年）に男爵に叙せられ、翌年から10年間（大正6年（1917年）4月30日まで）、貴族院議員を務めた。明治32年（1899年）、帝国海事協会初代理事長となり、有栖川宮威仁親王を総裁に奉戴し、帝国義勇艦隊結成に尽くした。明治44年（1911年）3月15日に退役した。大正6年（1917年）に枢密顧問官となった。青山墓地に葬られる。墓碑には本名ではなく、一葦乗海居士と彫られている。
1990年12月18日、オフ・ブロードウェイでソンドハイムの作詞および作曲による、ジョン・ワイドマン脚本の『アサシンズ』が開幕した。73回上演後、1991年2月16日、閉幕した。この作品の構想はソンドハイムがスチュワード・オストロウの「ミュージカル・シアター・ラボ」にパネリストとして参加した際に使用したチャールズ・ギルバートの作品を基にしている。ソンドハイムがギルバートに構想の使用許可を求めると、ギルバートは脚本の執筆を買って出たのだがソンドハイムはワイドマンに頼むつもりであった。2004年、ブロードウェイに進出し再演された。1997年、棚上げされていた『Saturday Night 』がロンドンのブライドウェル・シアターで上演された。1998年、『Saturday Night 』の音楽がレコーディングされた。2000年、新曲2曲を追加した改訂版がオフ・ブロードウェイのセカンド・ステージ・シアターで、2009年にはロンドンのジャーミン・ストリート・シアターで上演された。1990年代終盤、ソンドハイムとワイドマンはアディソン・マイズナーとウィルソン・マイズナーの兄弟についてのミュージカル・コメディ『Wise Guys 』でハロルド・プリンスと再びコラボレートした。ブロードウェイ・プロダクションではネイサン・レイン、ヴィクター・ガーバーが主演し、サム・メンデスが演出し、2000年春に上演が計画されたが延期となった。2003年、『Bounce 』と改題し、イリノイ州シカゴのグッドマン・シアターおよびワシントンD.C.のジョン・F・ケネディ・センターで上演された。評判が良くなくブロードウェイに進出できず、2008年10月28日、『Road Show 』と改題した改訂版がジョン・ドイルの演出によりオフ・ブロードウェイのパブリック・シアターにて開幕し、12月28日、閉幕した。2006年、新作を期待されたソンドハイムは「いや、もう歳だから。気力もないし新しいアイデアもない。信用もなくなってきている」と語った。2007年12月、『Bounce 』の改訂を行っており、またワイドマンとラパインと共にいくつかの作業を行なっていると語った。2009年4月、ジョージア州アトランタにあるアライアンス・シアターにてマルチメディア・プロダクション『Sondheim: a Musical Revue 』が上演される予定であったが、資金繰りが困難だったため中止となった。改訂版となる『Sondheim on Sondheim 』がランダバウト・シアター・カンパニーによりスタジオ54において、2010年3月19日からプレビュー公演が行なわれ、4月22日から6月13日まで本公演が上演された。このレヴューにはバーバラ・クック、ヴァネッサ・ウィリアムス、トム・ウォパット、ノーム・ルイス、レスリー・クリッツァーなどが出演した。2013年11月13日から17日、ニューヨーク・シティ・センターで行われた『Encores! 』シリーズのコンサート『A Bed and a Chair: A New York Love Affair 』でウィントン・マルサリスとコラボレートした。ジョン・ドイルが演出、パーカー・エッセが振付を担当し、「ソンドハイムの曲20曲以上がマルサリスにより新たなイメージが作り上げられた」と評された。ほかにバーナデット・ピーターズ、ジェレミー・ジョーダン、ノーム・ルイス、シリル・エイミーおよびダンサー4名、デイヴィッド・ラウド指揮のジャズ・アット・リンカーン・センター・オーケストラが出演した。『Playbill 』誌のスティーヴン・サスキンは「新作ミュージカルでも再演でもなければスタンダードを集めたレヴューでもなく、ジャズ風にして舞台演出を施した歌唱といった作品。半分の曲が『カンパニー』と『フォリーズ』からきており、あとはあまり知られていない『パッション』、『ロード・ショー』を含むソンドハイムのほかのミュージカルからきていた」と記した。2014年公開の『イントゥ・ザ・ウッズ』の映画化『イントゥ・ザ・ウッズ』に『Rainbows 』を含む新曲を作曲した。