Hos Tottenham ble Lee en umiddelbar hit og fikk fast plass på laget i hans lagdebut. Trener Martin Jol hadde kalt han den beste venstrebacken i Nederland da han signerte for laget og en av de beste i Europa. Formkurven til Lee kom imidlertid på vikende form i sesongen 2005-2006, og mange mente at han sammen med den høyrebacken Paul Stalteri var en av flere årsaker til at Tottenham ikke kvalifiserte seg for Mesterligaen.