アルジャーノン・フリーマン＝ミットフォード (初代リーズデイル男爵)
ミットフォードは1858年に外務省に入省し、サンクトペテルブルク英国大使館の三等書記官に任命された。その後、北京の公使館に勤務後、日本に渡った。ミットフォードは北京で公使を務めていたラザフォード・オールコックの義理の娘であるエイミー・ラウダーと恋愛関係となったが、オールコックは社会的に不釣合いとの理由で結婚に反対し、2人を引き離すためにミットフォードを日本に転勤させたようである。
1866年10月16日(慶応3年10月20日)、29歳のミットフォードは横浜に到着し、英国公使館の二等書記官として勤務を開始した。当時英国公使館は江戸ではなく横浜にあったため、ミットフォードも横浜外国人居留地の外れの小さな家にアーネスト・サトウ(当時23歳)、ウィリアム・ウィリス医師(当時29歳)と隣り合って住むこととなった。約1ヶ月後の11月26日、豚屋火事で外国人居留地が焼けたこともあり、英国公使館は江戸高輪の泉岳寺前に移った。ミットフォードは当初公使館敷地内に家を与えられたが、その後サトウと2人で公使館近くの門良院に部屋を借りた。サトウによると、ミットフォードは絶えず日本語の勉強に没頭して、著しい進歩を見せている。また住居の近くに泉岳寺があったが、これが後の1871年に『昔の日本の物語(英語版)』を執筆し、赤穂浪士の物語を西洋に初めて紹介するきっかけとなっている。
アルジャーノン・ミットフォードは、ヘンリー・リブレー・ミットフォードの息子であり、著名な歴史家であるウィリアム・ミットフォード(英語版)の曾孫にあたる。父方の祖先は地主階級(ジェントリー)で、ノーサンバーランドのミットフォード城(英語版)を所有していた。母のジョージアナはアッシュバーナム伯爵の娘であった。ミットフォードが3歳の1840年に両親は離婚し、母は再婚している。詩人のアルジャーノン・チャールズ・スウィンバーンとは母方の従兄弟にあたる。ミットフォードはイートン・カレッジとオックスフォード大学クライスト・チャーチ校で学んだ。