Olli Rehn begynte sitt politiske virke som byråd i Helsingfors i 1988. Han var visepresident i partiet Centern fra 1988 til 1994, og i 1991 ble han valgt til den finske riksdagen. Rehn ledet den finske delegasjonen til Europarådet og var spesialrådgiver for den finske statsministeren Esko Aho fra 1992 til 1993. Han forlot den finske riksdagen i 1995 for å bli representant i Europaparlamentet og var da visepresident for den liberale gruppen i Europaparlamentet. Har har også vært visepresident for Europabevegelsen i Finland.