Den 22. september 1992 ble han utnevnt til erkebiskop av Olomouc av Johannes Paul II, som etterfølger etter avdøde biskop František Vaňák. Han tiltrådte 7. november 1992. Fra 2000 til 2010 var Graubner formann for den tsjekkiske bispekonferanse og lder eder av pastoralkommisjonen og kommisjonen for veldedige formål. I 2020 ble han igjen formann for den tsjekkiske bispekonferanse.