Sanders ble født i Chariwood (eller Charlwood Place, sannsynligvis Charlwood) i Surrey som sønn av William Sanders, en gang sheriff av Surrey, og som nedstammet fra Sanders-familien i Sanderstead.