Etter en serie med disiplinæreproblemer, ble Diouf fjernet fra laget og lånt bort sesongen 2004/2005 til Bolton Wanderers. Diouf ble så kjøpt av Bolton sommeren 2005 etter låneoppholdet der. Den 15. september 2005 skåret Diouf Boltons første mål i en europeisk turnering noensinne mot Lokomotiv Plovdiv i en UEFA-cupkamp på Reebok Stadium. Bolton vant kampen 2-1. Han var en suksess hos Bolton og ble en favoritt hos fansen på grunn av sin spillestil. Diouf bekreftet i et intervju med BBC at han ville forlate Bolton ved slutten av 2007/2008 sesongen og at hans mål mot Sunderland den 3. mai markerte hans siste opptreden på Reebok Stadium som Bolton-spiller.