Sotto la mensa dell'altare "versus populum" in un sarcofago sono custodite le spoglie di San Rufino di Assisi. In precedenza queste erano sistemate in un sarcofago romano scolpito, ancora visibile nella cripta. Quest'ultima era stata ottenuta con le modifiche apportate alla costruzione precedente dal vescovo Ugone nell'XI secolo e corrisponde al presbiterio dell'antica basilica preesistente, reso visibile nelle fondazioni dai restauri eseguiti dopo il sisma del 1997. È accessibile da una scala, adiacente al battistero, attraverso il nuovo Museo diocesano.