Jensen meldte seg inn i Venstres Ungdom i slutten av 1980-årene og tilhørte etter hvert kretsen rundt Anders Fogh Rasmussen. Jensen var formann i Venstres Ungdom 1995–1997, og har siden 1998 vært valgt til Folketinget fra Vestjyllands storkrets (før 2007 Ringkøbing amtskrets). I 2004 ble han utnevnt til skatteminister. I 2010 gikk han tilbake til Folketinget som formann i Venstres folketingsgruppe. I 2011 ble han nestformann i Venstre. Ved Lars Løkke Rasmussens andre regjeringsdannelse i 2015, ble Jensen utnevnt til utenriksminister. Han var finansminister i Løkke Rasmussen III fra 28. november 2016 til 27. juni 2019.