I november 2003 skrev han under på et låneopphold med , og han spilte sin første kamp for Palace 22. november 2003 i en ligakamp mot . Den 29. november 2003 scoret han sitt første mål for da de spilte 1-1 mot . Etter å ha spilt 7 ligakamper og laget 1 ligamål vendte Edwards tilbake til Aston Villa i desember 2003, men allerede i januar 2004 var han klar for et nytt låneopphold, denne gang til . Hans første kamp for Derby var 10. januar 2004 da de møtte , mens hans første scoring for kom 17. januar 2004 i en ligakamp mot . Han spilte 11 kamper og scoret 1 mål for Derby før han vendte tilbake til Aston Villa da 2003/04-sesongen var over.