Han virket også i Roma, og var med på å opprettet det som nå er det pavelige universitet Gregoriana. Etter en reise til Peru, gjorde pave Julius III det kjent at han planla å utnevne ham til kardinal. For å forpure dette, bestemte de Borja seg - i samforstand med Ignatius - å i hemmelighet reise fra Roma i all hast og komme seg til Baskerland, der han trodde han var utenfor fare fra pavens planer. Han følte seg trukket mot å bruke tid i tilbaketrukkethet og bønn.