Grocholewski foi criado pelo cardeal-diácono de São Nicolau no Cárcere por João Paulo II no consistório de 21 de janeiro de 2001. Grocholewski perdeu automaticamente sua posição curial em 2 de abril de 2005 com a morte do Papa João Paulo. Ele foi confirmado no cargo pelo Papa Bento XVI em 21 de abril. Ele foi um dos eleitores cardeais que participou do Conclave de 2005 que elegeu o Papa Bento XVI. Em 21 de fevereiro de 2011, ele optou pela ordem do Cardeal Sacerdote, com sua antiga igreja diaconal elevada ao nível do título cardinalitial.