Das Haus in unmittelbarer Nähe zum Kapitol wurde 1800 durch Robert Sewall gebaut und gehört zu den ältesten Wohnhäusern in Washington. Als Sewall kurz nach Fertigstellung die Tabakplantage eines Onkels erbte, zog er aus und vermietete das Gebäude an den Finanzminister Albert Gallatin, der von 1801 bis 1813 das Haus bewohnte. Im Britisch-Amerikanischen Krieg brannten britische Truppen im Brand von Washington auch das Sewall-Haus nieder, laut Angaben der Familie weil es von zurückweichenden Amerikanern als Stützpunkt genutzt worden war. Die Wiederherstellung dauerte bis 1820, die Familie Sewall bewohnte es bis 1912, danach stand es leer. 1922 kaufte Senator Porter H. Dale das Gebäude und ließ es renovieren. 1929 verkaufte er das Haus an die "National Woman’s Party", die es zu ihrer Parteizentrale machte. Die Partei benannte das Gebäude "Alva Belmont House" nach Alva Vanderbilt Belmont, der Parteivorsitzenden seit 1920 und zugleich größte Förderin. Das Haus wurde für Büros genutzt, aber auch als Gästehaus für auswärtige Parteifunktionärinnen. Im Alva-Belmont-Haus saß auch die Redaktion der Zeitschrift Equal Rights.