ヘンリイ・パイク・ブイ
息子の威馬雄は子供の頃に父ヘンリーから聞いた話として、「カリフォルニア州生まれで、祖先はスコットランド貴族の家系であり、一族にはナポレオンの最初の皇后ジョゼフィーヌがいた」としているが真偽は不明。記録として確認されている経歴は、1705年にスコットランドからアメリカのメリーランド植民地に入植し地主となったジョン・ブイ・シニア(アメリカのブイ家の始祖)の6代目の子孫で外科医のオーグスタス・ジェス・ブイと、バルチモア出身のヘレン・マーサ・パイクとの息子(9人兄弟の3男で、愛称ハリー)としてアナポリス (メリーランド州)で生まれ、父が軍医として働いていたサンフランシスコに1852年に転居した。当時サンフランシスコはカリフォルニア・ゴールドラッシュの時期だった。
カリフォルニア大学卒業後実業界に入り、若くして億万長者となる。アメリカの資料では、サンフランシスコの新進弁護士Matthew Hall McAllisterのもとで働き始めたとされる。
1879年に15歳年上の在米イギリス系チリ人の未亡人アグネス・ポエト・ホワードと結婚。アグネスはチリの良家出身でアメリカ人と2度結婚したが2度とも夫に先立たれて莫大な遺産を相続した裕福な女性で、ヘンリーとは3度目の結婚だった。
ヘンリーは結婚後、法律業界を辞め、妻アグネスの所有するサンマテオ (カリフォルニア州)のヒルズボロにある大豪邸「El Cerrito」で暮らし始めた。アグネスの二人の元夫はホワード家の兄と弟で、兄は客船のボーイからゴールドラッシュで沸くサンフランシスコの港湾業で成功し、サンマテオの半分を公有地供与されて大地主となった地元の名士だった。兄の死後弟が事業を引き継いでいくつもの会社を経営し、ホワード家はカルフォルニア開拓者協会(1850年以前にカリフォルニアに入植した先駆者たちの集まり)にも所属する名門として知られていた。アグネスとヘンリーが結婚した当時、すでにアグネスの長男ウィリアムは結婚してパリに住んでおり子供が生まれたばかりだったこともあり、アグネスはその他の子供(ウィリアムの弟たち)を連れてヘンリーとヨーロッパへ新婚旅行に行き、2年間滞在した。
威馬雄がヘンリーから聞いた話によると、「パリ音楽院で作曲とヴァイオリンを修め、マッサールの弟子としてパガニーニの変奏曲などを学び、サン=サーンス、パデレフスキ、マスネ、ドーデなどと交遊すると共に、早くからゴンクール兄弟と浮世絵を共同研究し、俳句、連歌、能、茶事、書画に熱中した」という。この時期のヨーロッパはジャポニスムの全盛期だった。