Gravelaine startet seniorkarrieren med suksessfulle låneopphold i lavere divisjoner før moderklubben lot ham gå til i 1991. Her dannet han en angrepsrekke med Stéphane Paille for en gjeldstynget klubb som med femte plass på tabellen ble 1991/92-sesongens største overraskelse i Ligue 1. Med fjerde plass på toppscorerlisten tiltrakk Paille mer oppmerksomhet enn Gravelaine. Påfølgende sesong stod imidlertid Gravelaine i sentrum da han med tyve mål scoret nest mest mål i Ligue 1.