Han ble politisk aktiv i midten av 1960-årene, og satt i Oklahomas lovgivende forsamling 1967–1969 og delstatssenat 1969–1977. Han var republikanernes kandidat til guvernør i 1974 og kongressrepresentant i 1976, men tapte. Inhofe var borgermester i Tulsa 1978–1984, hvorpå han vant valget til Representantenes hus i 1986. I 1994 valgte daværende senator David L. Boren å fratre, og Inhofe vant med stor margin i et ekstraordinært senatsvalg. Han ble siden gjenvalgt med desto større margin, og var formann i Senatets komité for miljøvern og offentlige arbeider 2003–2007.