En 1814, le colonel Tayloe a de nouveau offert temporairement l'utilisation de sa maison pour le président des États-Unis James Madison et sa femme Dolley après l'incendie de la Maison Blanche par les Britanniques. Les Tayloe ont vendu la maison en 1855. L'Octagon House est devenu la maison de l'American Institute of Architects (AIA) en 1899.