Han ble født i Iowa, og flyttet med familien til Tulsa i Oklahoma som barn. Etter Tulsa Central High School tjenestegjorde han i United States Army 1957–1958. Inhofes høyere utdannelse består i en bachelorgrad fra University of Tulsa fra 1973.