I 1847 ble han utnevnt til biskop og apostolisk vikar av Western District, etterfølgende biskop Charles Michael Baggs (1806–1845), men ble overført til Central District året etter. Ullathorne ble bispeviet av biskop John Briggs, apostolisk vikar av Yorkshire District; medkonsekrerende var biskopene Thomas Griffiths, apostolisk vikar av London District, og William Wareing, apostolisk vikar av Eastern District.