I begynnelsen av sesongen 2006-2007 ble Lee flyttet fra venstre til høyre, blant annet på grunn av Benoît Assou-Ekottos prestasjoner og skader hos høyreback Stalteri. Lee fikk større konkurranse når Tottenham signerte den franske forsvareren Pascal Chimbonda den siste dagen i overgangsvinduet. Lee led av en kneskade og Tottenham var villig til å la han gå til A.S. Roma men dette skjedde ikke.