Tommy Smith skrev sin første profesjonelle kontrakt med Watford den 1. august 1997, og spilte sin første obligatoriske kamp for klubben den 18. november 1997 da Watford slo Oldham Athletic 2-1 i en ligakamp. Hans første mål for Watford kom 20. februar 1999 da laget slo Queens Park Rangers 2-1. Totalt spilte Smith seks sesonger i klubben fra Hertfordshire før han i september 2003 gikk gratis til Sunderland. Han debuterte for Sunderland 27. september 2003, og scoret sitt første mål for klubben fra Tyne and Wear den 26. desember 2003 da Bradford ble slått 3-0.