Han ble født inn i Stonor-familien, en recusantslekt, og var sønn av Thomas Stonor, 3. Lord Camoys, og Frances (née Towneley).