Mellom 998 og 1000 dro Otto på flere pilegrimsreiser. I 999 valfartet han fra Gargano til Benevento der han møtte eremittmunken Romuald og abbed Nilus den yngre (den gang en høyt æret religiøs skikkelse) for å sone fordi han henrettet Crescentius II etter å ha garantert for hans sikkerhet. Under denne spesielle pilegrimsreisen døde pave Gregor V i Roma etter et kort sykeleie. Da han fikk beskjed om Gregor Vs død insatte Otto sin mangeårige rådgiver Gerbert av Aurillac som pave Sylvester II. Bruken av dette pavelige navnet var ikke ubegrunnet. Det kalte fram minnet om pave Sylvester I, han som angivelig skapte det "kristne imperiet" (the Christian Empire) sammen med keiser Konstantin den store Dette var en del av Otto III kampanje for å ytterligere koble seg selv sammen med både Romerriket og Kirken.