Han ble født som Roussel Davids Byles i Leeds, Yorkshire i februar 1870 som den eldste av til sammen syv barn til pastor Alfred Holden Byles, en kongregasjonalistisk menighetsforstander, og hans kone Louisa Davids. En av hans søstre skulle bli misjonær i Kina.