簗瀬新八的次子，过继给了有马纯晴作为养嗣子。少年时的有马参加了戊辰战争，1869年（明治2年）获赐6石。1874年（明治7年）11月，海军兵学寮2期毕业，受少尉补任官。1884年（明治17年）12月，任机帆船炮术长。此后历任副舰长、炮舰副舰长、铁甲舰扶桑副舰长。1887年7月11日-10月27日，以海军少佐衔代任舰长。同年10月27日至1889年5月15日，转为以海军少佐衔代任舰长。1889年5月15日-5月13日，以海军少佐衔代任天龙舰长并兼任水兵教官。后历任海军参谋部第2课长、佐世保镇守府长