I august 2006 ble Smith solgt for £500 000 til Derby County der han skrev under på en 3-årskontrakt med klubben. Han debuterte for Derby 6. august 2006 i en ligakamp mot Southampton. Den første perioden i Derby figurerte han ofte i startoppstillingen, mens han senere i 2006/07-sesongen ble mer benyttet som innbytter. For å få mer spilletid signerte han på en låneavtale med Millwall i mars 2007, og han spilte sin første kamp for Millwall den 24. mars 2007 da laget tapte 2-0 for Port Vale. Smith startet den kampen som innbytter, og ble byttet inn i det 57. spilleminutt. Den 31. mars 2007 spilte han sin første kamp fra start for da de slo Swansea City 2- 0 i en ligakamp. Totalt spilte Smith 6 ligakamper for Milwall før han vendte tilbake til Derby i mai 2007. For Derby spilte han 15 ligakamper og 5 cupkamper i 2006/07-sesongen.