Bei den Kongresswahlen des Jahres 1902 wurde Baker im sechsten Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1903 die Nachfolge von George H. Lindsay antrat. Im Jahr 1904 erlitt er bei seiner Wiederwahlkandidatur eine Niederlage und schied nach dem 3. März 1905 aus dem Kongress aus. Seine Kandidatur im Jahr 1906 war auch erfolglos. Während seiner Zeit als Kongressabgeordneter wurde er als ein leidenschaftlicher Reformer wahrgenommen und erhielt den Spitznamen "„No-Pass Bob“" wegen seiner Haltung gegen freie Zugfahrten für Abgeordnete. Er war ein überzeugter Anhänger der Einheitssteuer-Theorie von Henry George. In diesem Zusammenhang richtete er im April 1893 das erste Treffen der "„Citizen’s Union“" in seinem Haus an der 89 St. Marks Avenue in Brooklyn aus. Die Citizen’s Union existiert noch heute als eine leistungsfähige, unabhängige Überwachungsorganisation in New York, die sich mit kommunalen Angelegenheiten befasst, obwohl sie längst ihre Bindung zu Henry George aufgegeben hat. Als Pazifist weigerte er sich irgendwelche Kadetten für die United States Military Academy in West Point zu ernennen. Als Gegner des Militarismus bot er eine Einstellung der amerikanischen Herstellung von Kriegsschiffen an. Darüber hinaus verurteilte er das Blutsonntag-Massaker in St. Petersburg (Russisches Kaiserreich). Er führte die Opposition gegen eine Lohnerhöhung des Präsidenten von 50.000 $ auf 100.000 $ pro Jahr mit der Begründung, dass es in einer Republik nicht notwendig wäre. Er wurde als ein Komödiant verhöhnt, der lieber einer anderen Meinung sei als Recht zu haben.