Han begynte i det konservative studentarbeidet i 1950-årene, og ble senere formann i Unge Høyres Landsforbund. I 1973 ble han stortingsrepresentant for Oslo. Han var industriminister i Willoch-regjeringen fra 1983 til 1985, og Høyres parlamentariske leder fra 1985 til 1989. Da Kåre Willochs foretrukne etterfølger Rolf Presthus døde brått i 1988, ble Jan P. Syse også partileder.