Celestinus, som ble hans klosternavn, var en ivrig asket innen benediktinerordenen, der han inntrådte ved sytten års alder. Han ble etterhvert presteviet i Roma. Som munk søkte han seg ofte til Monte Morone i Abruzzo, hvorfra han fikk tilnavnet , som han kanskje ble mer kjent med enn sitt riktige slektsnavn.