Su padre, Matthew Robinson, y su madre, Elizabeth Robinson, eran ambos de familias distinguidas, y Sarah fue una de los nueve hijos que sobrevivieron a la infancia.