アルジャーノン・フリーマン＝ミットフォード (初代リーズデイル男爵)
青年期
アルジャーノン・ミットフォードは、ヘンリー・リブレー・ミットフォードの息子であり、著名な歴史家であるウィリアム・ミットフォードの曾孫にあたる。父方の祖先は地主階級（ジェントリー）で、ノーサンバーランドのミットフォード城を所有していた。母のジョージアナはアッシュバーナム伯爵の娘であった。ミットフォードが3歳の1840年に両親は離婚し、母は再婚している。詩人のアルジャーノン・チャールズ・スウィンバーンとは母方の従兄弟にあたる。ミットフォードはイートン・カレッジとオックスフォード大学クライスト・チャーチ校で学んだ。
外交官
ミットフォードは1858年に外務省に入省し、サンクトペテルブルク英国大使館の三等書記官に任命された。その後、北京の公使館に勤務後、日本に渡った。ミットフォードは北京で公使を務めていたラザフォード・オールコックの義理の娘であるエイミー・ラウダーと恋愛関係となったが、オールコックは社会的に不釣合いとの理由で結婚に反対し、2人を引き離すためにミットフォードを日本に転勤させたようである。
1866年10月16日（慶応3年10月20日）、29歳のミットフォードは横浜に到着し、英国公使館の二等書記官として勤務を開始した。当時英国公使館は江戸ではなく横浜にあったため、ミットフォードも横浜外国人居留地の外れの小さな家にアーネスト・サトウ（当時23歳）、ウィリアム・ウィリス医師（当時29歳）と隣り合って住むこととなった。約1ヶ月後の11月26日、豚屋火事で外国人居留地が焼けたこともあり、英国公使館は江戸高輪の泉岳寺前に移った。ミットフォードは当初公使館敷地内に家を与えられたが、その後サトウと2人で公使館近くの門良院に部屋を借りた。サトウによると、ミットフォードは絶えず日本語の勉強に没頭して、著しい進歩を見せている。また住居の近くに泉岳寺があったが、これが後の1871年に『昔の日本の物語』を執筆し、赤穂浪士の物語を西洋に初めて紹介するきっかけとなっている。
徳川慶喜が将軍に就任すると、大坂で各国公使に謁見することとなったが、ミットフォードはサトウと共に、その下準備のために大坂に派遣された（1867年2月11日から1週間程度）。実際の目的は京都の政治情報の調査であり、ミットフォードはこのときに明治維新で活躍する日本人と面識を得た。4月中頃、各国外交団は謁見のため江戸から大坂に向かった。英国公使ハリー・パークスは4月29日に徳川慶喜との非公式会見を行い、正式な謁見は5月2日に実施された。英国外交団は大坂に約5週間滞在したが、この間にミットフォードとサトウ、および画家のチャールズ・ワーグマンは宿舎をしばしば抜け出して、日本の実情に触れている。この後、サトウとワーグマンは陸路江戸へ向かったが（途中の掛川宿で暴漢に襲われている）、ミットフォードは海路を使って江戸に戻った。
安政五カ国条約では新潟が開港予定地となっていたが、貿易港としては適していないため、その代替地として七尾が候補となった。ミットフォードはパークスやサトウと共に箱館、新潟を経て、8月7日に七尾に到着した。その後パークスは長崎経由で海路大坂へ向かったが、ミットフォードとサトウは8月10日から8月22日にかけ、内陸部を通って大坂まで旅した。日本の内陸部を外国人が旅行するのは初めてのことであった。その後、ミットフォードとサトウは蜂須賀斉裕の招きで阿波を訪問することとなっていた。しかし、長崎で英国水兵殺害事件（8月5日）の報告を受けたパークスは、土佐藩の関与が疑われたため、2人に便乗し阿波経由で土佐に向かうこととした。このため、ミットフォードによると阿波訪問は「単なる表敬訪問」になってしまった。阿波でパークスやサトウと別れ、ミットフォードは江戸に戻った。
1868年1月1日に予定された兵庫開港の準備のため、11月30日、ミットフォードとサトウは大坂へ向かい12月3日に到着、パークスも24日に到着した。兵庫開港は無事に実行されたが、日本の政治は急速に動いていた。1868年（慶応4年）1月3日の王政復古の大号令を受け、1月6日には慶喜は京都を離れ大坂城に入った。8日にパークスはミットフォード、サトウを伴って、半ば強引に慶喜に拝謁した。1月28日には鳥羽・伏見の戦いが勃発して幕府軍は敗北、1月31日には慶喜は大坂城を脱出した。これに先立つ30日に、幕府は各国外交団に保護は不可能と通達したため、外交団は兵庫へと移動した。ミットフォードは護衛隊を引き連れて騎馬で兵庫へ向かった。
2月4日、備前藩兵が外国人を射撃する神戸事件に遭遇した。事件の背景や推移には様々な見解があるが、ミットフォードはこれを殺意のある襲撃だったとしている。なお、この事件の責任をとり、滝善三郎が切腹しているが、ミットフォードはこれに立会い、また自著『昔の日本の物語』にも付録として記述している。
3月5日に外交団は大坂に戻ったが、7日に山内容堂の治療のためウィリスが京都に派遣されることとなり、ミットフォードもこれに同行した。両名は土佐藩の屋敷に入ったが、8日は土佐藩の兵士がフランス水兵を殺害する事件（堺事件）が発生した。しかし、その後も両名は土佐藩邸に留まり、12日に大坂に戻った。
3月23日、パークス一行は明治天皇への謁見のために京都に向かったが、ここで2人の攘夷派に襲撃された。1人は同行していた中井弘蔵と後藤象二郎が斬殺したが、もう1人はミットフォードが捕らえた。この日の謁見は中止されたが、3月26日に拝謁は実現した。この際パークス以外の公使館員ではミットフォードのみが謁見できた。
3月29日、パークスらは江戸に戻ったが、ミットフォードは1人で大坂に残るように命じられた。
来日して1年半程度であり、また通訳官でもなかったが、1人で業務をこなせるほど日本語に上達していた。8月に江戸に戻ったが、ほどなく江戸は東京と改称され（1868年9月3日）、また明治への改元が行われた（10月23日）。
1869年（明治2年）9月4日、エディンバラ公アルフレートが来日したが、ミットフォードはエディンバラ公の宿舎となった浜離宮におよそ1ヶ月住み込んでその準備を手伝った。エディンバラ公が天皇に謁見した際には、通訳を務めている。その後オーストリア外交使節一行をサポートした。1870年1月1日に日本を離任した。
王立工務局事務局長
1872年に財務省工務局 (Her Majesty's Office of Works) に副長官として入局し、1874年から1886年まで長官を務め、国内王室不動産や在外公館の営繕の指揮を執った。この間にロンドン塔の修復やハイド・パークの造園に関わっている。1886年、従兄弟のリーズデイル伯爵ジョン・フリーマン=ミットフォードの死により、その遺産を受け継いだ。この際に、フリーマンの名前も引き継いだ。1880年12月、外務卿の井上馨の指示で首都官庁集中計画にふさわしい建築家を探していた駐英公使園田孝吉はミットフォードを訪ねて、建築家の推薦を相談した。
1887年には英国行政委員会のメンバーとなった。1892年から1895年まで、 ストラフォード・オン・エイヴォン選挙区から選出されて保守党所属の庶民院議員を努めた。1902年には連合王国貴族爵位リーズデイル男爵に叙され、貴族院議員に列した
再来日
1902年に日英同盟が締結され、1906年（明治39年）にはコノート公アーサーが、明治天皇にガーター勲章を授与するために訪日し、その際、ミットフォードも随伴した。ガーター勲章使節団7名の中にはマイルズ・ランプソンもいた。一行はイギリス海軍香港基地で軍艦に乗り換えて日本に到着した。このとき、日本政府は使節団を歓待するために大名行列を再演し、ミットフォードに勲一等旭日大綬章を授章した。
オリエンタリスト
北京大使館勤務時代には中国語に親しみ、その後日本に転勤するとアーネスト・サトウと競って日本語及び日本文化を学んだ。その過程で日本文学にいたく傾倒し、1870年、イギリスに戻るとTales of Old Japan (昔の日本の話) の執筆に取りかかる。本書の中には忠臣蔵の物語も含まれ、「ハラキリ」も紹介している。1871年にロンドンで出版されると好評を博し、イギリスにおける日本趣味浸透の一助になった。趣味は芸術全般から植物学の分野に及び、特に禅宗と関わりの深い竹を好み、バッツフォードの屋敷に広大な禅宗風の植物庭園 (Batsford Arboretum) を作庭した。その際、世界各地から20種類以上の竹を集め、その学術的成果をThe Bamboo Garden (1896) としてまとめ、出版した。
翻訳家
晩年、ミットフォードはヒューストン・ステュアート・チェンバレンの2冊の著作『19世紀の基礎』および『イマヌエル・カント - ゲーテ、レオナルド・ダ・ヴィンチ、ブルーノ、プラトンおよびデカルトとの比較研究』の翻訳、編集および前書きを書き、それぞれ1910年および1914年に出版した。
遺産
ミットフォードはグロスターシャー州バッツフォードの屋敷を相続し、主屋をヴィクトリアン・ゴシック調に改造し、また庭園を竹を主題にした禅宗風に作り直したが、その費用のために彼の死後数年で屋敷は売却された。屋敷を購入したのはタバコ事業で成功した実業家のギルバート・ウィルズ初代ダルバートン男爵で、現在も彼の子孫であるダルバートン男爵家が所有している。
イタドリ
イタドリは19世紀に観賞用としてイギリスに輸出され、旺盛な繁殖力から在来種の植生を脅かす外来種となり、コンクリートやアスファルトを突き破るなどの被害が出ており、世界の侵略的外来種ワースト100 (IUCN, 2000) 選定種の一つとなっている。2010年3月、イギリス政府はイタドリの駆除のために、天敵の「イタドリマダラキジラミ」を輸入することを決定している。ミットフォードはイタドリをイギリスに紹介した人物の1人とされることが多いが、最初の人物ではないと思われる（少なくとも1850年までにはシーボルトがオランダに持ち帰ったイタドリが輸入され、キュー王立植物園で栽培されている）。