Biblioteka istnieje od 1565 r. Pierwszy zbiór składał się z 300 z 300 tomów. W czasie potopu szwedzkiego (właśc. V. wojny polsko-szwedzkiej 1626-1629) biblioteka straciła 2,6 tys. woluminów. Wywiezione wówczas księgi znajdują się w większości na uniwersytecie w Uppsali. Kolejne straty biblioteka poniosła podczas przejścia przez tereny Warmii wojsk radzieckich w 1945. W w wyniku pożaru budynku seminarium oraz biblioteki spłonęło lub zaginęło 45 tys. woluminów.