Pada 24 Desember 1851 terjadi kebakaran besar dalam sejarah Perpustakaan Kongres. Sejumlah 35.000 buku, yakni sekitar dua pertiga dari 55.000 koleksi buku Perpustakaan Kongres, termasuk dua pertiga dari buku sumbangan Jefferson habis terbakar. Pada tahun berikutnya (1852), Kongres menyediakan AS$168.700 untuk menggantikan buku-buku yang terbakar, tetapi bukan untuk membeli judul-judul buku yang baru. Keputusan ini menandai periode konservatif di bawah kepala perpustakaan bernama John Silva Meehan yang membatasi kegiatan Perpustakaan Kongres. Pada tahun 1857, Kongres mengalihkan kegiatan distribusi terbitan pemerintah kepada Departemen Dalam Negeri dan program pertukaran buku internasional kepada Departemen Luar Negeri. Setelah kantor hak cipta semuanya dipusatkan di Kantor Paten Amerika Serikat, berakhir pula peran Perpustakaan Kongres sebagai perpustakaan deposit untuk buku berhak cipta dan pamflet. Pengangkatan secara politis John G. Stephenson sebagai Pustakawan Kongres oleh Abraham Lincoln pada tahun 1861 semakin melemahkan Perpustakaan Kongres. Stephenson hanya mau mengurusi soal-soal yang tidak berkaitan dengan perpustakaan, termasuk bekerja sebagai relawan dalam Pertempuran Chancellorsville dan Pertempuran Gettysburg dalam medan Perang Saudara Amerika. Seusai perang, Perpustakaan Kongres hanya memiliki 7 pegawai untuk koleksi berjumlah 8.000 buku.