Olympic tuvo un período difícil, terminado en la cola de su serie en la Tercera División y relegados en 1984 hasta la Cuarta División de Bélgica , Después de la primera temporada en medio de la tabla, el equipo tuvo éxito en 1986 para jugar en el campeón de todos modos en su serie de vuelta y tomar un lugar en la tercera división.