ヘンリー・スペンサー・アシュビー
エリザベスとの間には3人の娘と2人の息子をもうけたが、息子の一人は出産直後に死亡している。もう一人の息子はアーツ・アンド・クラフツ運動を普及させた芸術家の一人チャールズ・ロバート・アシュビー(Charles Robert Ashbee)である。
1867年に父ロバートが死去すると、その遺産をも管理するようになった。仕事柄、ヨーロッパ各地を飛び回ることの多かったアシュビーは、その傍らで各国のエロティカ蒐集に精を出していたが、この傾向は同居していた父の死後はさらに顕著になり、仕事だけでなく観光などの名目で海外旅行をするようになった。買い集めたエロティックな書物は、家族の目に触れぬよう、自宅からそう遠くないホウボン(Holborn)に借りた家に保管していた。
1860年代末から1873年までは日記が残されておらず、1869年と1873年に娘が生まれたことなど、断片的な情報しかわかっていない。40歳を越えた頃から蒐集したエロティカの書誌情報について雑誌などに多くの文章を寄稿するようになる。1880年代に入ると活動範囲は世界中に広がり、1880年10月から翌1881年7月までの間にエジプト、インド、セイロン、ペナン、シンガポール、ジャワ、シャム、香港、上海、北京、広東、日本、アメリカ合衆国を周遊している。目的としては仕事上関わりのある各地の代理人との打ち合わせや名所旧跡の観光であり、これらを纏め上げた旅行記を出版することを考えていたようである。