山高信離
父は旗本2500石堀利堅
異母兄に外国奉行・神奈川奉行・箱館奉行の堀利煕。その子の堀利孟は神奈川奉行・軍艦奉行。
二男の林曄(1866年生)は林鶯渓の養子。その妻のしげは益田克徳二女で益田孝の姪。その子・林暲は松沢病院院長、二女アヤは石坂泰三の弟石坂禄朗の妻。
長女の静(1870年生)は向山慎吉の妻。その長男に向山均。
息子に造船技師の山高五郎、孫は編集者・版画家の山高登。