Diaby startet karrieren i den franske klubben AJ Auxerre. Den 12. januar 2006 gikk han til Arsenal for om lag to millioner britiske pund. Han debuterte for 21. januar 2006. Den 1. april samme år scoret han sitt første mål for Arsenal da laget vant 5–1 over Aston Villa FC. I sin første sesong i Arsenal pådro Diaby seg en veldig alvorlig skade, i en seriekamp mot Sunderland ble han taklet av Smith og brakk benet. Skaden holdt Diaby ute i over åtte måneder. Men han kjempet hardt og i Carling Cup januar 2007 mot Liverpool FC fikk Diaby sitt comeback. Arsenal FC vant kampen hele 6–3. Det var heller ikke lenge før Diaby fikk sin andre scoring for klubben da han scoret 1–0-målet borte mot Aston Villa.