In den 1850er und 1860er Jahren wohnten eine Reihe weiterer nennenswerter Personen in dem Haus. Nachdem William Gore Ouseley zum Sondergesandten für Zentralamerika ernannt wurde, mietete er 1858 das Haus und gab verschwenderische Feste, bevor er sich in seine Zielregion begab. General George B. McClellan verwendete das Haus im Sezessionskrieg nach der Ersten Schlacht am Bull Run vom 26. Juli 1861 an als sein Washingtoner Hauptquartier, bis er dieses Ende Oktober in sein neues Hauptquartier an der Ecke von H Street NW und 15th Street NW – an der Stelle des heutigen Sofitel Lafayette Square Hotels – verlegte. Nach dem Sezessionskrieg war in dem Haus eine kurze Zeit die French Claims Commission untergebracht.