Han ble medlem av Folketinget i 1978 og nestformann i Venstre i 1985. Mellom 1987 og 1992 var han skatteminister og økonomiminister i Poul Schlüters regjeringer. Tidlig i 1990-årene stod Rasmussen for en liberalistisk kritikk av velferdsstaten, men har siden beveget seg mot det politiske sentrum.