Hun var datter av Roger Kemble, som var katolikk, og Sarah Ward, som var protestant. Sarah og søstrene hennes ble oppdratt i sin mors tro, guttene i barneflokken ble oppdratt som katolikker. Sarah var søster til de berømte skuespillerne John Philip Kemble, Charles Kemble, Stephen Kemble, Ann Hatton og Elizabeth Whitlock, og tante til Fanny Kemble.