Hija de la inversora de propiedades Rhut Walters (1905-1974) y el médico escocés Joseph Margolyes (1899-1996), Miriam se crio en una familia judía y asistió al Oxford High School para sus estudios secundarios.