ヘンリイ・パイク・ブイ
祖父は弁護士、父親はアメリカ海軍医で、退役後はカリフォルニア大学理事や医療専門学校の教授を務めた。兄弟は9人で、同名の長兄がいたが海難事故で夭折。次兄(土木技師)は1917年に日本で死亡、次弟(海軍医)も晩年長崎で暮らしユダヤ系ロシア人女性と再婚して息子テオドールをもうけ、1911年に亡くなり坂本国際墓地に埋葬された。次弟の子のテオドール・ロバート・ブイは1905年に長崎で生まれ6歳まで日本で育ち、のちにアジア美術史の研究者となり、浮世絵や俳句など日本文化関連の著作も残した。
最初の妻にチリ出身のアメリカ人、アグネス・ポエト・ホワード(1833-1893) 。後妻に平野駒(1870-?)。横浜代官所詰めの元武士の娘で、結婚後は子育ての傍ら山田流の琴教師をしていた。
実子は平野駒との間に詩人の平野威馬雄、翻訳家の平野武雄。武雄は上智大学卒業後、労働運動に携わり、騒擾罪で逮捕収監されたこともある活動家で、容貌は威馬雄よりもより父親似だったという。
孫は料理愛好家の平野レミ(長男の子)、新宿ロフト創業者平野悠(次男の子)など13人、曾孫はTRICERATOPSの和田唱(レミの長男)、エッセイストの今村三菜(レミの妹の娘)など。