Su familia incluía a prominentes cuáqueros, como sus tíos Robert Pearsall Smith y Hannah Whitall Smith, y sus primos Alys Pearsall Smith (primera esposa de Bertrand Russell) y Mary Smith Berenson Costelloe (que se casó con Bernard Berenson).