Μετά την άλωση της Κωνσταντινούπολης το 1204 κατά τη διάρκεια της Δ΄ Σταυροφορίας, το ανάκτορο του Βουκολέοντα καταλήφθηκε από τον Βονιφάτιο μαρκήσιο του Μομφερράτου που:Ίππευσε κατά μήκος της ακτής προς το παλάτι του Βουκόλεοντα και όταν έφτασε εκεί αυτό παραδόθηκε, υπό την προϋπόθεση ότι θα έπρεπε να σωθούν οι ζωές όλων εκεί μέσα. Στο παλάτι βρέθηκε ένας μεγάλος αριθμός ευγενών κυριών, που είχαν καταφύγει στο κάστρο αυτό, όπως η αδελφή του βασιλιά της Γαλλίας, που ήταν πρώην Αυτοκράτειρα και η αδελφή του βασιλιά της Ουγγαρίας, που ήταν επίσης Αυτοκράτειρα και πάρα πολλές άλλες δέσποινες. Από τον θησαυρό που βρέθηκε σε αυτό το παλάτι δεν μπορώ να μιλήσω, γιατί υπήρχε τόσος πολύς, που ήταν πέρα από κάθε μέτρημα, ατελείωτος." (Γοδεφρείδου Βιλλεαρδουίνου "Χρονικό της κατάκτησης της Πόλης").Μεταξύ των βραβείων λοιπόν, ήταν η Αυτοκράτειρα Μαργαρίτα, κόρη του Μπέλα Γ΄ της Ουγγαρίας, την οποία νυμφεύτηκε ο Βονιφάτιος. Κατά τη μετέπειτα Λατινική αυτοκρατορία (1204–1261), το παλάτι του Βουκολέοντα συνέχισε να χρησιμοποιείται ως αυτοκρατορική κατοικία. Μετά την κατάκτηση της πόλης από τον Μιχαήλ Η΄ Παλαιολόγο ωστόσο, το παλάτι, μαζί με ολόκληρο το συγκρότημα των Μεγάλων Ανακτόρων, σταδιακά εγκαταλείφθηκε υπέρ του Παλατιού των Βλαχερνών.