幕臣・堀利堅の八男として江戸に生まれる。のち山高家の養子となる。号は紫峰、紫山。官途は石見守。慶応3年（1867年）パリ万国博覧会に参列する徳川昭武に随行する。維新後はウィーン万国博覧会など、各地の万博に派遣されて事務局などに勤めた。後年は帝国博物館長、京都・奈良帝国博物館長を歴任。また椿椿山に学び、文人画を描いた。