20 августа 1611 года Серебряная библиотека перешла к директорам Замковой библиотеки. Она был временно эвакуирована в Кюстрин во время Семилетней войны (1756—1763), в Мемель (позже переименованный в Клайпеду) во время Войны четвёртой коалиции (1806—1807), части Наполеоновских войн (1803—1815) и в Берлин во время Первой мировой войны (1914—1918). С 1924 года она экспонировалась как часть музея тевтонских рыцарей в Кёнигсбергском замке. Она был перенесена в поместье в во время Второй мировой войны (1939—1945), но была потеряна в ходе боевых действий Великой Отечественной войны с вторжением Советского Союза.