Peter Whittingham spilte tre ligakamper for «the Villans» i starten på 2005/06-sesongen, før han i september 2005 undertegnet på en tremåneders utlånsavtale med Derby County FC. Han spilte sin første kamp for Derby 18. september 2005, da de spilte 2-2 mot Southampton FC i en ligakamp. Totalt ble det elleve ligakamper for «the Rams», før han returnerte til Aston Villa i november 2005. I siste del av 2005/06-sesongen spilte Whittingham én ligakamp for Villa, mens han i den påfølgende sesongen fikk han med seg tre ligakamper og ên cupkamp, før han i januar 2007 ble solgt til Cardiff City FC for 350 000 pund.