Pius IX:s senaste år var kardinalen en af hans mest omtyckte sällskapskamrater.