Gjergji ble født i Stubla til Pashk og Anna Gjergji. Fra 1970 til 1972 gikk han på barneskolen i Stubla, fra 1972 til 1978 på skolen i Bibaj/Ferizaj og fra 1978 til 1982 den statlige og allmennutdannede videregående skole Paulinium i Subotica. I Zagreb studerte han filosofi og teologi fra 1982 til 1988.