I 1975 ble Mahony bispeviet. Han var først hjelpebiskop i Fresno i fem år, deretter fra 1980 til 1985 biskop av Stockton. I 1985 ble han utnevnt til erkebiskop av Los Angeles.