Το 1524 ο Πάπας Κλήμης Ζ΄ τον έστειλε παπικό νούντσιο στην Μαδρίτη σε μια προσπάθεια συμφιλίωσής του με τον Κάρολο Ε΄. Η αποστολή απέτυχε οικτρά (χωρίς καθόλου να ευθύνεται ο Καστιλιόνε γι’ αυτό) με αποκορύφωμα την τρομερή λεηλασία της Ρώμης από τα αυτοκρατορικά στρατεύματα το 1527. Ο Καστιλιόνε πέθανε στο Τολέδο δυο χρόνια αργότερα.