Le 25 novembre 1804, le pape Pie VII, en route d'Italie pour sacrer Napoléon à Paris, s'arrête à l'hospice et, ravi de l'accueil qui lui est fait, promet à l'abbé Dom Gabet de s'y arrêter plus longuement à son retour, ce qu'il fait.