Jensen var valgt til Folketinget fra Vestsjællands amtskrets 1971–1973 og 1978–1998, etter å ha blitt nominert fra Ringsted krets, deretter fra Holbæk krets. Han ble en «dreven, lavmælt og kompromissøkende» parlamentariker. Han var kulturminister i Poul Schlüters tredje regjering 1988–1990, senere undervisningsminister i Poul Nyrup Rasmussens regjeringer 1993–1998 og kirkeminister 1996–1998. Som undervisningsminister forestod han i 1993 den første folkeskolereformen på 30 år. Han innførte et særløp i videregående opplæring for skolesvake elever (FFU). I 1996 fratok han Tvind-skolene statstilskuddet med en særlov. Særloven ble i 1999 kjent grunnlovsstridig av høyesterett, som for første gang fremstod som en forfatningsdomstol og underkjente en lov vedtatt av Folketinget. Høyesterett kjente inndragelsen gyldig i 2009.