Sous la table de l'autel "versus populum", les restes de saint Rufin d'Assise sont conservés dans un sarcophage. Auparavant, ceux-ci étaient dans un sarcophage romain sculpté, encore visible dans la crypte. Cette dernière a été conçue lors des modifications apportées au bâtiment précédent par Mgr Ugone au et correspond à la clôture de chœur de l'ancienne basilique, rendue visible dans les fondations par les restaurations effectuées après le séisme de 1997. Elle est accessible par un escalier adjacent au baptistère, en passant par le nouveau musée diocésain.