Hovmand var leder for den danske delegasjonen og president i Nordisk råd i 2001. Ved regjeringsskiftet det året ble han utnevnt til skatteminister i Anders Fogh Rasmussens første regjering. Han skulle sette regjeringens løfter om et «skattestopp» ut i livet, og prøvde å innrette politikken slik at «det opplevde skattetrykket» ble mindre. Som skatteminister ble han oppfattet som svak og skiftet ut i 2004. Han ble kritisert for ikke å ha grepet mot at TDC utnyttet et stort skattehull. I 2006 ble Hovmand frikjent for sin embedsførsel av en uavhengig granskningskommisjon.