La colección inicial de 16.000 volúmenes pronto creció y en diciembre de 1854 se autorizó a moverse a un nuevo edificio en Boylston Street.