Samlingen er svært gammel, nesten jevnaldrende med Tower of London som ble bygget i det 11. århundre. Den ble først åpnet for publikum på regelmessig basis under Karl II i 1660. Før det, i hvert fall fra det 15. århundre, ble enkelte høytstående personer invitert til å se samlingen, og fra Elizabeth Is tid ble det åpnet for også andre besøkende til tider.