I februar 1998 kjøpte Derby County Delap for £200 000, og han debuterte for Derby 14. februar 1998 i en ligakamp mot Everton. Totalt spilte han 13 ligakamper for i siste del av 1997/98-sesongen. Den påfølgende sesongen ble det 23 ligakamper, mens han 1999/00-sesongen stoppet på 34 ligakamper for klubben fra Derbyshire. I denne sesongen laget også Delap 8 ligamål der hans første Derbymål kom den 10. august 1999 i en kamp mot Arsenal. I hans fjerde og siste sesong som Derbyspiller spilte han 33 ligakamper og han laget 3 ligamål.