Согласно легенде, библиотека изначально принадлежала византийским императорам и собиралась на протяжении многих веков. Последним из императоров, владевших библиотекой, называют Константина XI. После падения Константинополя книжное собрание было вывезено в Рим, а затем переместилось в Москву в качестве приданого византийской царевны Софьи Палеолог, выданной замуж за московского князя Ивана III.