El 24 de diciembre de 1851, el mayor incendio en la historia de la biblioteca destruyó a alrededor de 35.000 libros, aproximadamente dos tercios de su colección de 55.000 libros, incluyendo dos terceras partes de la donación original de Jefferson. Rápidamente, en 1852, el Congreso consignó 168.700$ para reemplazar los libros perdidos, pero no para adquirir nuevos materiales. Esto marcó el inicio de un período conservador de la Biblioteca, bajo una administración con John Silva Meehan como el Bibliotecario y James A. Pearce como el Presidente del Comité Conjunto, que trabajó para restringir las actividades de la Biblioteca. En 1857, el congreso transfirió las actividades de distribución de documentos públicos del Biblioteca al Departamento del Interior y su programa para el intercambio internacional de libros al Departamento de Estado. Las políticas de Abraham Lincoln que dan nombramiento a John G. Stephenson como bibliotecario del Congreso en 1861 debilitó aún más la Biblioteca; Stephenson se centró en los asuntos que no eran de la Biblioteca, incluyendo el servicio voluntario como aide-de-camp en las batallas de Chancellorsville y Gettysburg durante la guerra civil estadunidense. En la conclusión de la guerra, la Biblioteca del Congreso tenía un personal de siete empleados para una colección de 80.000 volúmenes. La centralización de oficinas para derecho de autor en la Oficina de Patentes y Marcas de Estados Unidos en 1859 puso fin a trece años con la Biblioteca como un depositario para todos los libros y folletos protegidos por copyright.