Mitford, sexta de siete hijos, fue hija del barón David Freeman-Mitford y de su esposa Sydney (hija del político y editor Thomas Bowles), y creció en las distintas casas de su padre.