Etter at pavens (geheimkammerherre) Victor Palme var blitt myrdet tilkalte paven fader Xavier, som da var kapellan ved kasernen i Viterbo. I 1850 utnevnte Pius IX ham til geheimkammerherre og dermed til direktør for de pavelige fengsler. Han bidro aktivt til omorganiseringer og moderniseringer av administrasjonen av Kirkestaten etter at de franske tropper hadde gjenopprettet offentlig orden i Roma.