Hans foreldre kommer fra Mali. Han startet sin karriere i franske Le Havre, men ble i 2005 kjøpt av Chelsea for 4 millioner Euro. Diarra ble 31. august, 2007 solgt til Arsenal FC og ble kun noen månender etter solgt til Portsmouth FC på grunn av for lite spilletid. Han spilte i Real Madrid fra 2008/09 til 2012.