William Bernard Ullathorne var den eldste av ti barn av William Ullathorne, en velstående forretningsmann med interesser i dagligvarer, draperier og brennevin, og Hannah (født Longstaff), som konverterte til katolisismen da hun giftet seg. Da han var ni år gammel, flyttet familien til Ullathorne til Scarborough, hvor han begynte sin skolegang. Han var en etterkommer etter (den hellige) Thomas More gjennom sin oldemor, Mary More.