Holdsworth startet sin karriere i Watford i 1986, og har senere spilt for Brentford, Wimbledon (nå AFC Wimbledon), Bolton, Coventry og Rushden & Diamonds. I tillegg har han hatt låneperioder i klubbene Carlisle United, Port Vale og Swansea City. Sommeren 2004 forlot han det profesjonelle ligasystemet, og ble spiller i Havent and Waterlooville. I februar ble han også utnevnt til assistent manager i denne klubben. Med 33 mål bidro han til at klubben rykket opp i Conference South.