Sidgwick ble født i Park Town i Oxford som den eldste av to barn av William Carr Sidgwick, foreleser ved Oriel College, og Sarah Isabella (født Thompson). Morens onkel var Thomas Perronet Thompson.