Скончыў духоўную семінарыю ў Познані і ў 1963 прыняў святарскае пасвячэнне, пасля чаго працаваў вікарыем у парафіі Хрыста Адкупіцеля ў Познані. Вывучаў кананічнае права ў Папскім Грыгарыянскім універсітэце ў Рыме, які скончыў з залатым медалём. У 1972 абараніў доктарскую дысертацыю, якая таксама была адзначана залатым папскім медалём. Пасля вучобы Зянон Грахалеўскі застаецца ў Рыме і працуе ў найвышэйшым трыбунале Апостальскай Сігнатуры. Бярэ ўдзел у распрацоўцы новага Кодэкса Кананічнага Права, уведзенага Янам Паўлам II, дапамагае Папу ў правядзенні рэформы Рымскай Курыі. У 1980 прызначаны канцлерам і сакратаром найвышэйшага касцёльнага суда. У 1983 з рук Папы Яна Паўла II прыняў біскупскае пасвячэнне, а ў 1991 названы архібіскупам. У 1998 прызначаны Прэфектам Кангрэгацыі каталіцкай адукацыі, якая курыруе дзейнасць семінарый і каталіцкіх навучальных устаноў. У 2001 Зянон Грахалеўскі абвешчаны кардыналам.