Семья Митфорд ведет свое происхождение со времён Нормандского завоевание Англии. В средние века они жили близ англо-шотландской границы в долине "Redesdale" западной части графства Нортумберленд (северо-восточная Англия). К середине XIX века Митфорды владели замком Митфорд-Касл, а также особняками Усадьба Митфорд и Митфорд-Холл.