I den påfølgende sesongen ble Lee Holmes også den yngste som noengang har scoret for Derby County i ligasammenheng. Dette skjedde mot Coventry 25. oktober 2003 da han var 16 år og 206 dager. Da denne sesongen var over hadde Holmes fått bokført 2 mål på 23 ligakamper. I første del av 2004/05-sesongen fikk han med seg 2 ligakamper og 1 cupkamp for klubben fra Derbyshire før han den 22. desember 2004 ble utlånt til Swindon Town. Hans første kamp for denne klubben var mot Peterborough United den 26. dember 2004 i en kamp som Swindon vant 2-0, og hans første scoring for Swindon kom i en kamp mot Doncaster Rovers den 26. februar 2005. Han returnerte tilbake til Derby i mars 2005 etter å ha scoret ett ligamål på 15 kamper for . I siste del av 2004/05-sesongen spilte han en ligakamp for .