ロバート・W・アーウィン
母のソフィア・アラベラ(Sophia Arabella Bache)は、ピッツバーグ市長から外交官になった父ウィリアム・W・アーウィンの後妻で、アメリカ合衆国第2代郵政長官リチャード・バチェとサラ(初代郵政長官ベンジャミン・フランクリンの一人娘)の孫(四男リチャードの次女)である。ロバートは5人兄妹の次男として生まれた。兄は三井物産がロンドンに初の海外支店を設けた際、8年間支配人を務め、その後ニューヨーク・トリビューン紙の編集長になった。姉のアグネスは名門女子大ラドクリフ・カレッジの初の学部長となったのち、フィラデルフィア郊外のアグネス・アーウィン・スクールで校長を務めた。
妻の武智イキ(1857-1940)は信州飯田の商家・林金造の三女で、10歳のとき、元土佐藩士で浅草橋場町(現橋場)の海産物問屋、武智惣助の養女となった。18歳で結婚し、ロバートが働いていた長崎で同居を始めたが、正式な結婚として法的に認められたのは日本側で6年後、米国側で12年後の1882年となった。この日米結婚第一号の書類は東京公文書会館に保管されている。結婚の翌1871年に長女が生まれたが夭折、ロバートの深酒と芸者遊びに悩まされ10年以上子がなかったが、1883年に次女ソフィア・アラベラ(通称ベラ)の誕生を皮切りにメリー、ロバートJr.、マリアン、リチャード、アグネスの6人の子に恵まれた。女児は雙葉小学校、男児は暁星小学校を卒業後、全員アメリカへ留学させた。また、実姉の娘キクを養女にし、外国人のため日本での不動産取得ができないアーウインの代わりとして、武智キク名義を多用した。
デンマーク駐在アメリカ合衆国代理大使であったウィリアム・W・アーウィンと、ベンジャミン・フランクリンの玄孫である母の子としてコペンハーゲンに生まれた。1866年(慶応2年)末、兄が勤めていたアメリカの郵便船舶会社パシフィック・メイル・スティームシップの横浜駐在代理人として来日し、1870年(明治3年)ごろよりアメリカの貿易商社ウォルシュ・ホール商会の貿易業務に携わるようになり、同社の長崎支店長を務めた。この時期、ウォルシュ・ホール商会で働いていた益田孝と知り合う。1871年秋頃、同社は豪商の伊藤八兵衛とドル為替取引によって利益を得る共同事業を開始し、伊藤から保証金を預かったが、為替取引に失敗して大きな損失を出し、保証金返還と損失補填を巡って伊藤と裁判沙汰になった(伊藤八兵衛ウォルシュ・ホール商会訴訟事件)。伊藤の担当者だったアーウィンは裁判の被告となり、アーウィンの頼みで帳簿操作をしたことを証言した伊藤はアーウィンの約束反故を糾弾したが、当時の日本の商習慣から口約束がほとんどであったため、伊藤の敗訴で終わった。伊藤家の女中の証言によると、伊藤と親しかったアーウィンは「狐のアルピン」とあだ名されていたという。
1874年にウォルシュ・ホール商会を辞め、横浜のエドワード・フィッシャー商会の共同経営者となる。同社でも伊藤のときと同様なアーウィンの煩雑な会計処理がもととなってイギリス人との間に訴訟を抱え、こちらは敗訴した。