Библиотеката е основана през 1800 година с цел да обслужва нуждите на Конгреса, в чиято сграда се помещава до края на 19 век. По време на Британско-американската война (1812 – 1815), първоначалната сбирка е унищожена и библиотеката е възстановена през 1815 година, когато Томас Джеферсън продава на Конгреса личната си колекция от 6487 книги. След период на упадък в края на 19 век, Библиотеката на Конгреса бързо започва да увеличава сбирката и значението си.