Το φθινόπωρο του 1824, ο Ραγέφσκι, έφυγε για διακοπές για να αναρρώσει μετά από την αρρώστια που είχε. Ο επόμενος χρόνος ήταν ο πιο μοιραίος στην ζωή του. Πρώτα πέθανε η μητέρα του - Γιεκατερίνα Νικολάγεβνα, και μετά την Εξέγερση των Δεκεμβριστών που ξέσπασε στην Αγία Πετρούπολη, φυλακίστηκαν τρία γνωστά του άτομα, ο ετεροθαλής αδερφός του Βασίλι Λβόβιτς Νταβίντοφ, και οι σύζυγοι των θυγατέρων του Μιχαήλ Ορλόφ και Σεργκέι Γκριγκόριεβιτς Βολκόνσκι. Μετά, εξορίστηκαν από την Μόσχα. Για την επανάσταση ήταν ύποπτοι και οι γιοι του Ραγέφσκι Αλεξάντρ και Νικολάι, αλλά αυτοί αθωώθηκαν. Στο τέλος του 1826, αποχαιρέτησε για πάντα την κόρη του, Μαρία, η οποία πήγε στην Σιβηρία για να συναντήσει τον εξορισμένο σύζυγό της.