Pave Celestin var imot novatianistene i Roma, fengslet deres biskop og forbød deres ritualer og formen for deres religion. Han stod fast på ikke å tolerere endringer innenfor den kristne kirke som han representerte, og hans bestrebelser ble efterfølgende stående.