Backhouse era el cuarto hijo de James y de Mary, una familia de comerciantes, cuáquera, de Darlington, Yorkshire, Inglaterra.