Glemp ble utnevnt til biskop av Warmia i 1979. I 1981, etter kardinal Stefan Wyszyńskis bortgang, ble han utnevnt til erkebiskop av Gniezno, og ble med det samtidig primas for kirken i Polen. Erkebispedømmet Gniezno var den gang, under kommuniststyret, kombinert ved personalunion med erkebispedømmet Warszawa (slik at de to distinkte bispesetene ble ledet av samme erkebiskop).