Το 1204, η βιβλιοθήκη μαρτυρείται πως καταστράφηκε από τους Φράγκους και Βενετούς της Δ´ σταυροφορίας κατά την άλωση της Κωνσταντινούπολης το 1204. Σύγχρονες εκτιμήσεις αναφέρουν πως παρότι είναι πιθανό πως μερικά χειρόγραφα χάθηκαν κατά την διάρκεια 3 πυρκαγιών που ξέσπασαν στην πόλη, δεν υπάρχει ένδειξη μιας επίσημης βιβλιοθήκης κατά την περίοδο εκείνη ούτε και αναφέρεται από κάποια πηγή της εποχής πως χάθηκαν έργα.