Mens han var guvernør hadde Paulinus utviklet en interesse for 200-tallets martyr Felix av Nola. Denne var en mindre helgen av lokal betydning og hans gravsted hadde blitt bygget innenfor den lokale gravstedet ved Cimitile, rett utenfor byen Nola. Som guvernør hadde Paulinus forbedret vegen til Cimitile og bygget et hus for reisende. Det var på dette stedet hvor han og hans hustru bosatte seg. I nærheten var det små kapeller og minst en gammel basilika. Paulinus ombygget komplekset, konstruerte en helt ny basilika og et mindre klostersamfunn for sankt Felix. Paulinus skrev også en årlig hymne til helgenens ære for festdagen da prosesjonene av pilegrimer var på sitt meste. I disse hymner kan dagens lesere fortsatt forstå det personlige forhold som Paulinus følte eksisterte mellom ham og helgenen: hans talsmann i himmelen. Hans poesi har stor likhet med mange andre verker tidlig på 400-tallet; en snirklet, kunstferdig stil som klassisistene på 1700-tallet og 1800-tallet fant søtladen og avviste som dekadent, skjønt Paulinus' poesi ble meget høyt verdsatt på hans tid og brukt i undervisningsøyemed som eksempler.