Han var fiskeriminister i Anfinn Kallsbergs andre regjering fra 2003 til 2004. Han ble innenriksminister i Jóannes Eidesgaards første regjering i 2005. To år senere måtte Vestergaard gå av som følge av flyttingen av hovedkontoret for Strandfaraskip Landsins til Suðuroy. Ved lagtingsvalget i 2008 ble han partiets fremste stemmesanker, i stor grad med stemmer fra Suðuroy, hvorpå Vestergaard ble utnevnt til fiskeriminister i Kaj Leo Johannesens første regjering. Han har siden vært en av partiets mest sentrale politikere. Vestergaard fungerte også som utenriksminister og visestatsminister fra januar til april 2011.