Gedung Peringatan James Madison

Rencana pembangunan gedung ketiga Perpustakaan Kongres dimulai pada tahun 1957 pada masa jabatan Pustakawan Kongres Lawrence Quincy Mumford. Dana perencanaan gedung disediakan Kongres pada tahun 1960, dan pembangunan disetujui berdasarkan akta Kongres tanggal 19 Oktober 1965. Anggaran yang disediakan sebesar AS$75 juta. Pembangunan fondasi dimulai bulan Juni 1971, dan pembangunan gedung selesai pada tahun 1976. Sebelumnya, peletakan batu pertama dilakukan pada 8 Maret 1974. Acara peresmian dilakukan 24 April 1980, dan gedung mulai dibuka untuk umum pada 28 Mei 1980.