Cuando en 1767 los jesuitas fueron expulsados de América por el Reino de España, los betlemitas se hicieron cargo del templo en 1785, y la Residencia comenzó a ser usada como cárcel.