Durante la administración del presidente James Madison, el arquitecto Benjamin Latrobe diseñó un conjunto de muebles clásicos, pero fueron destruidos en el incendio de 1814 (véase la Guerra de 1812).