Vollebæk var opprinnelig medlem av Høyre. Han meldte seg inn i Kristelig Folkeparti i 1983, og fikk sin politiske debut som statssekretær for utenriksminister Kjell Magne Bondevik i Jan P. Syses regjering 1989–1990.