Сиссе родился в мусульманской семье выходцев из Кот-д’Ивуара. Он был седьмым и самым младшим ребёнком в семье. Его покойный отец Манге Сиссе (1945—2009) был профессиональным футболистом. На Кубке Африки 1970 года он был капитаном сборной Кот-д’Ивуара. В 1974 году вся семья переехала во Францию, где уже и родился Джибриль.