Faits : Faits : A. A.a X._ (X._ ou le recourant) est un club de football qui participait au championnat de première division organisé par A._ Association (A._), membre de Y._ Association (Y._ ou l'intimée), elle-même affiliée à la Fédération Internationale de Football Association (FIFA). A.b Le 17 août 2003, X._ a disputé et gagné une rencontre officielle. Son adversaire ayant toutefois contesté le résultat du match en faisant valoir qu'un joueur de X._ n'aurait pas dû entrer sur le terrain, le Comité d'organisation des compétitions de A._ a décidé que le match avait été perdu par forfait et retiré les trois points obtenus par le vainqueur. Ce forfait a contribué à la relégation du club en deuxième division. X._ a recouru sans succès contre la décision du Comité auprès de toutes les instances internes de Y._. Il a ensuite porté l'affaire à la connaissance de la Commission fédérale pour l'enregistrement des associations de la jeunesse et des sports (la Commission fédérale) - un organisme gouvernemental - qui a admis son appel par décision du 16 mars 2004. Y._ n'a pas appelé de cette décision, tout en considérant qu'elle ne la liait pas au motif que la Commission fédérale n'était pas compétente pour la prendre. X._ ayant refusé de jouer les matchs de la ligue de deuxième division, Y._ l'a relégué en troisième division. L'enregistrement du club a été radié par décision de A._ du 12 décembre 2004. A.c Le 23 juillet 2006, la Commission fédérale a ordonné la dissolution du comité exécutif de Y._ pour ne pas s'être plié à sa décision du 16 mars 2004. Le Ministre de la justice de W._ est alors intervenu pour bloquer cette décision et inviter Y._ à interjeter appel auprès du Comité fédéral d'arbitrage de la jeunesse et des sports (le Comité d'arbitrage), ce qu'elle a fait. Par décision du 21 septembre 2006, le Comité d'arbitrage a rejeté l'appel. Le 1er octobre 2006, Y._ a saisi la Cour administrative d'appel de la province de ... (la Cour d'appel). Le lendemain, celle-ci a ordonné la suspension de l'exécution de la décision de la Commission fédérale, confirmée par le Comité d'arbitrage. Le 1er octobre 2006, Y._ a saisi la Cour administrative d'appel de la province de ... (la Cour d'appel). Le lendemain, celle-ci a ordonné la suspension de l'exécution de la décision de la Commission fédérale, confirmée par le Comité d'arbitrage. B. Le 19 octobre 2006, X._ a adressé au Tribunal Arbitral du Sport (TAS) un appel visant à contraindre Y._ à retirer le recours pendant devant la Cour d'appel et à accepter la décision du 23 juillet 2006 par laquelle la Commission fédérale avait dissous son comité exécutif. L'appelant a encore demandé au TAS de sanctionner Y._ pour avoir saisi les tribunaux ordinaires ainsi que de le réintégrer dans la première division de la ligue de ... en lui restituant les trois points déduits en 2003 et en rectifiant le classement en conséquence. L'appel incluait aussi une demande de dommages-intérêts. Deux mémoires complémentaires ont été déposés par X._ les 5 et 6 novembre 2006. Une formation de trois arbitres, présidée par l'avocat B._, a été constituée pour statuer sur cet appel. Par sentence du 4 avril 2007, elle s'est déclarée incompétente pour trancher le différend entre X._ et Y._, a jugé irrecevables l'appel du 19 octobre 2006 et ses compléments des 5 et 6 novembre 2006, a rayé la cause du rôle, a mis les frais de la procédure arbitrale à la charge de X._ et a condamné ce dernier à verser à Y._ une indemnité de 5'000 fr. à titre de dépens. Une formation de trois arbitres, présidée par l'avocat B._, a été constituée pour statuer sur cet appel. Par sentence du 4 avril 2007, elle s'est déclarée incompétente pour trancher le différend entre X._ et Y._, a jugé irrecevables l'appel du 19 octobre 2006 et ses compléments des 5 et 6 novembre 2006, a rayé la cause du rôle, a mis les frais de la procédure arbitrale à la charge de X._ et a condamné ce dernier à verser à Y._ une indemnité de 5'000 fr. à titre de dépens. C. Le 15 mai 2007, X._ a déposé un recours en matière civile au Tribunal fédéral. Il conclut à l'annulation de la sentence attaquée et à ce qu'ordre soit donné au TAS de statuer sur son appel. L'intimée n'a pas déposé de réponse dans le délai qui lui avait été imparti à cette fin. Quant au TAS, il a renoncé à le faire.