Όταν απεβίωσε ο πάπας, το παλάτσο λεηλατήθηκε κατά τις φιλονικίες μεταξύ των ευγενών της Ρώμης και η ιδιοκτησία πέρασε στα χέρια τού Οίκου των ντελλα Ρόβερε. Όταν η ανιψιά τού πάπα Ιουλίου Β΄ ντελλα Ρόβερε, η Λουκρέτσια Γκάρα Φραντσιόττι ντελλα Ρόβερε παντρεύτηκε τον Μαρκαντόνιο Α΄ Κολόννα, το παλάτσο επέστρεψε στον Οίκο. Οι Κολόννα ήταν σύμμαχοι των Αψβούργων και μάλλον γι' αυτό δεν λεηλατήθηκε το κτήριο το 1527 κατά τη λεηλασία της Ρώμης.