Martin var medlem av Massachusetts lovgivende forsamling 1912–1914 og delstatssenatet 1914–1917, og satt som partisekretær for republikanerne i delstaten 1922–1925. Han var valgt til Representantenes hus 1925–1967, hele tiden med bosted i North Attleborough, men med flere grensejusteringer for valgkretsen. Han ledet Den republikanske nasjonale komité 1940–1942 og det republikanske mindretallet i Representantenes hus 1939–1959, bare avbrutt av periodene som speaker 1947–1949 og 1953–1955. Martins motstykke i Det demokratiske parti var Sam Rayburn fra Texas. De to pleide et nært personlig vennskap. Martin måtte fratre som republikanernes leder etter valgnederlaget i 1958, men ble sittende som kongressmann. I 1966 tapte han med 12 prosentpoeng mot Margaret Heckler i det republikanske primærvalget.