Den 28. desember 1968 ble Whealon erkebiskop av Hartford, og der etterfulgte han erkebiskop Henry Joseph O'Brien. Under sine 23 års styer etablerte han et program for å utdanne gifte menn til det permanentre diakonat, fremmet kvinner til stillinger i kirkelige strukturer, og utviklet prestelige pastoralteam for ledelsen av menigheter. I 1986 utnevnte han søster Helen M. Feeney ttil den første kvinnelige kansellist ifor erkebispedømmet og hun var dermed den femte i hele landet. Whealon grunnla også radiostasjonen WJMJ. Han var aktiv innen økumenikken, nasjonalt og i Connecticut.