ヘンリー・スペンサー・アシュビー
アシュビーは1834年4月21日、ロンドン・サザック(Southwark)で火薬工場の経営者ロバート・アシュビーとその妻フランセスとの間に生まれた。幼少時代については記録が残されていないが、14歳でケンジントンの寄宿制グラマー・スクールに入学し、教育を受けた。生来より読書好きであったアシュビーはこの学校の図書室で多くの時間を過ごし、16歳で卒業した後、紡績関係の仕事に就いた。
アシュビーは20歳を数える頃から日記をつけており、その中でも女性に対して興味を抱いている自分の感情をつぶさに書き綴っていたが、エロティカ蒐集の直接のきっかけとなったのは1850年代のある時期に知り合ったベルギー人のジョゼフ・オクターヴ・デルピエールに拠る所が大きい。デルピエールは当時ロンドンでベルギー領事館の領事を務めていた人物で、エロティカに深く精通していただけでなく、様々な人脈を持っていた。デルピエールを通してアシュビーは次第に、エロティカの世界へと入っていくこととなる。
1862年6月、28歳になったアシュビーはドイツのハンブルクで結婚する。相手はユダヤ系ドイツ人の商人エドワード・オットー・チャールズ・レイヴィーの娘、エリザベス・ジョセフィン・ジェニー・レイヴィーであった。この結婚によってアシュビーはエドワードの経営する会社のロンドン支店経営パートナーの座に付くこととなり、一躍裕福な暮らしを送るようになった。1865年には住居をロンドン中心部のブルームズベリー(Bloomsbury)へと移っている。