Etter hjemkomsten fra Italia fikk Buenaventura et apoplektisk anfall, det første av flere, som i stor grad begrenset hans handlekraft. Han var ikke i stand til å delta i konklavet 1774–75.