Rayburn representerte Texas' 4. distrikt i Representantenes hus 1913–1961, og ledet komiteen for mellomstatlig handel og utenrikshandel i seks år. Fra 1937 ledet han forsamlingens demokratiske flertall. I 1940 ble han valgt til ny speaker etter William B. Bankheads død, og med to to-års perioders unntak, beholdt han denne stillingen til sin egen død i 1961. De to periodene 1947–1949 og 1953–1955, da republikanerne vant flertallet, ledet Rayburn istedenfor det demokratiske mindretallet. Han hadde John Nance Garner som sin mentor, og holdt selv sin hånd over den senere president Lyndon B. Johnson.