Han begynte med politikk i 1959, da han ble valgt inn i kommunestyret i Tysvær. Tveit var Tysværs ordfører fra 1967 til 1975 og fylkesordfører i Rogaland fra 1979 til 1983. Han var innvalgt på Stortinget fra Rogaland fra 1985 til 1993 etter å ha vært vararepresentant i periodene 1969–1973, 1973–1977 og 1977–1981.