Il est retenu en Australie pour la Coupe du monde 2003 et joue la « petite finale » pour la troisième place face aux "". Malgré la défaite sans appel 40-13 des Français, les "Bleus" font jeu égal pendant les cinquante premières minutes grâce à une très bonne défense dans laquelle Chabal joue les premiers rôles. Pendant la compétition, ne comprenant pas pourquoi Bernard Laporte ne le titularise pas, il critique frontalement le sélectionneur à ce sujet, ce qui lui vaut une nouvelle mise à l'écart de l'équipe nationale pendant près de deux ans. Il n'est donc pas retenu pour participer au Tournoi des Six Nations 2004 et il ne prend pas non plus part aux deux tournées en juin et novembre, marquant une année 2004 sans aucune sélection. La troisième ligne en place est formée par Olivier Magne, Serge Betsen et Imanol Harinordoquy qui, ensemble, remportent le Grand Chelem 2002 et 2004. Chabal fait un nouveau retour sous le maillot bleu pour deux rencontres du Tournoi 2005 puis deux autres lors de la tournée d'automne, sans réussir toutefois à devenir un titulaire indiscutable au sein de l'équipe. Il disparaît à nouveau des projets du sélectionneur et n'obtient aucune sélection en 2006.