Baardsen startet sin proffkarriere i den engelske klubben Tottenham, men til tross for flere gode prestasjoner klarte han ikke å bli klubbens førstekeeper. Han ble senere solgt til Watford, hvor han var tiltenkt rollen som førstekeeper, men mistet etter hvert plassen til fordel for veteranen Alec Chamberlain. Baardsen var i en periode utlånt til Everton FC.