Bray ble født i 1794 i landsbyen Twelveheads i Cornwall, England, som eldste av tre barn av William Bray (en gruvearbeider) og Ann. Faren døde mens barna fortsatt var små, og de ble oppdratt hos sin bestefar, som var en gudfryktig metodist. Etter å ha avsluttet skolegangen jobbet Bray som gruvearbeider i Cornwall og Devon, og han led på denne tiden avalkoholisme. I 1821 giftet han seg med Joanna, som var tidligere metodist, og de fikk syv barn.