À la suite de sa première expérience en coupe du monde, la Tunisie connaît une baisse brutale de sa performance après le passage d'entraîneurs comme Ameur Hizem et Hmid Dhib, l'équipe étant écartée lors des éliminatoires de la coupe du monde 1982 contre le Nigeria malgré la participation de dizaines de joueurs ayant participé à l'édition précédente. Entre 1980 et 1992, l'équipe réussit à se qualifier pour seulement deux tournois : la CAN 1982 et les Jeux olympiques d'été de 1988 ; elle est éliminée au premier tour dans les deux cas. En effet, la Tunisie se qualifie pour la CAN organisée par son voisin, la Libye, sous la direction de l'entraîneur polonais Ryszard Kulesza et après avoir été écartée de la CAN 1980. Cependant, elle obtient des résultats négatifs : un match nul contre le Cameroun (1-1) lors du premier match puis des défaites face à la Libye (0-2) et au Ghana (0-1) pour n'obtenir qu'un seul point. Kulesza ne réussit pas non plus à se qualifier pour la CAN 1984 après une défaite contre l'Égypte, ce qui précipite son départ. L'entraîneur Youssef Zouaoui est nommé pour superviser l'équipe, qui prend un bon départ en remportant des matchs amicaux contre le Nigeria (5-0) et le Canada (2-0), puis surpasse le Bénin et la Guinée au premier tour des éliminatoires de la coupe du monde 1986. Cependant, elle échoue à se qualifier pour la CAN 1986 après une défaite face à la Libye, ce qui ne l'empêche pas d'accéder au dernier tour des éliminatoires de la coupe du monde en battant le Nigeria, avant d'être éliminée face à l'Algérie qui se qualifie pour la deuxième fois.