En 1814, el coronel Tayloe ofreció el uso de su casa al presidente James Madison y a su mujer como una casa temporal debido a la quema de la Casa Blanca por parte de los británicos.