Thomas Roberts var sønn av Clara Louise Roberts og William d'Esterre Roberts. Han var deres syvende barn og den andre sønnen av ni barn. Faren hans var handelsmann, og kom fra en familie av irske protestantiske hugenotter. Han virket i Le Havre, og deretter i Arcachon sør i Frankrike, og der begynte Thomas på katolsk skole. I 1900 konverterte faren til den katolske tro. Før Thomas ble født, bodde familien i Liverpool i lang tid, og etter farens død i 1901 flyttet familien tilbake dit.