Huset ble bygd i 1824. Det fikk sitt navn etter at politikeren og journalisten Francis Preston Blair sr. (1791–1876) kjøpte det i 1836. I 1942 ble det kjøpt av den amerikanske regjering, og året etter det direkte tilgrensende huset, Lee House, som er inkorporert i gjesteboligen, og som nå for enkelthets skyld er medregnet når man taler om Blair House.