ミットフォード家はノルマン時代にまで遡り、ジョン・ド・ミットフォード卿がノーサンバーランドにミットフォード城を持っていた。14世紀後半から15世紀初期にジョン・ミットフォードが重要な公的役職幾つかを保持し、その後は代々公職を務める伝統を作った。18世紀、ウィリアム・ミットフォードが古典的歴史家の指導的存在となり、古代ギリシャの明確な歴史書を作った。その曾孫にあたるアルジャーノン・バートラム・ミットフォードが1837年に生まれ、"バーティ"と呼ばれ、1874年から1880年のディズレーリ第二次内閣で小さな役職を保持した外交官かつ旅人だった。1874年、第10代エアリー伯爵デイビッド・オギルヴィの次女クレメンティーナと結婚し、ミットフォード家をイギリスの最も著名な貴族の家系と繋ぐことになった。クレメンティーナの姉であるブランシェ・オギルヴィは、軍人から実業家になったヘンリー・モンタギュー・ホージャーの妻になった。この夫婦に生まれた4人の子供には、クレメンタイン（"クレミー"）がおり、1908年に後にイギリス首相となるウィンストン・チャーチルと結婚した。同じく娘のネリーはバートラム・ロミリーと結婚した。ホージャーもブランシェも性的に乱れたところがあり、歴史家や一族からホージャーはクレミーの父ではないというのが受け取られ方だったが、登録上は父だった。ブランシェはクレミーが生まれる少し前に、友人であるロンドンデリー夫人に生まれてくる子の父は義弟であるバーティ・ミットフォードだと告げていた。歴史家の大半は別の者が父親である可能性を否定していない。