Pave Paul VI utnevnte Dempsey den 13. juli 1967 til biskop av Sokoto. Han ble bisperviet den påfølgende 15. august av kardinal John Patrick Cody, erkebiskop av Chicago. medkonsekratorer var John Kwao Amuzu Aggey, erkebiskop av Lagos, og Aloysius John Wycislo, hjelpebiskop i Chicago.