Han satt som representant for Massachussetts 11. distrikt i Representantenes hus 1953-1963 og som representant for Massachussetts 8. distrikt 1963-1987. O'Neill jr. var innpisker for Demokratene i Representantenes hus 1971-1973 og majoritetsleder 1973-1977. Som majoritetsleder var han den mest framstående demokraten i huset som bad om riksrett for president Richard M. Nixon på grunn av Watergate-skandalen. O'Neill var speaker i Representantenes hus fra 1977 til 1987, noe som gjorde ham til den eneste speakeren som har tjenestegjort i fem fullstendige kongresser etter hverandre og til den tredje lengstsittende speaker i amerikansk historie etter Sam Rayburn og Henry Clay.