Han tok collegeutdannelsen sin ved Occidental College i Los Angeles, hvor han spilte amerikansk fotball, studerte deretter økonomi, og tjenestegjorde i United States Army fra 1958 til 1962. Han engasjerte seg i Barry Goldwaters valgkamp ved presidentvalget i 1964 og i Ronald Reagans guvernørvalgkamp i California i 1966. Kemp ble valgt inn i Representantenes hus fra New York ved kongressvalgene i 1970. Kemp satt i Representantenes hus inntil 1989, deretter som byutviklings- og boligminister under present George H.W. Bush frem til 1993. Foran presidentvalget i 1996 ble Kemp nominert til republikanernes visepresidentkandidat, mens Bob Dole var presidentkandidat. Dole og Kemp tapte valget mot Bill Clinton og Al Gore.