Diouf ist Muslim. Seine Mutter, Gnilane, starb bei der Massenpanik in Mekka 2015, während seine Schwester mit kleinen Verletzungen überlebte. Mit seinem jüngeren Bruder Mame Mbar Diouf spielte er 2009 zusammen bei Molde FK. Sein Bruder spielt aktuell bei Rot-Weiß Erfurt.