高山紀齋
父・高山紀次 - 岡山藩士
叔父・磯田由道 - 岡山藩士。藩主の教育係主任。子孫に磯田道史がいる。
妻・あい - 森山茂の長女。あいは鳩山和夫とも縁談話があり、どちらに嫁ぐが話題となった。父方叔母の夫に五代友厚。
弟・瓜生源太郎 - 歯科医
甥・瓜生春太郎 - 歯科医