Em 1204, a biblioteca foi supostamente destruída pelos francos e venezianos da Quarta Cruzada durante o saque da cidade Donald Queller observa que, embora alguns manuscritos foram provavelmente perdidos nos incêndios que assolaram a cidade durante a cruzada, não há indicação da existência formal de uma biblioteca imperial naquele tempo e não há fontes que mencionam manuscritos perdidos.