Faits : A. A._ exerce depuis décembre 2000, à temps complet, la profession d'ostéopathe dans le canton du Valais, après avoir suivi une formation à l'Ecole suisse d'ostéopathie de Belmont de 1994 à 1998 puis, de 1998 à 2000, auprès de l'Ecole supérieure d'ostéopathie de Paris. Le 2 mars 2012, il a adressé à la Commission intercantonale d'examen en ostéopathie (ci-après: la Commission d'examens) un dossier d'inscription à l'examen intercantonal pour ostéopathes (ci-après: l'examen intercantonal) en vue de se présenter à la session d'examen pratique réservé aux ostéopathes en exercice devant avoir lieu au printemps 2012. Le 14 mars 2012, la Commission d'examen a invité A._ à compléter son dossier en produisant une copie certifiée conforme de son diplôme d'ostéopathe. Le 15 mars 2012, l'intéressé a répondu qu'il avait réussi les examens finaux de l'Ecole supérieure d'ostéopathie de Paris, mais qu'il avait renoncé à rédiger un mémoire de fin d'études, de sorte que cette institution ne lui avait pas délivré de diplôme. B. Par décision du 24 avril 2012, la Commission d'examen a rejeté la demande d'inscription de A._ au motif qu'il n'avait pas achevé sa formation, n'étant titulaire que d'une attestation de fin d'études et non pas d'un diplôme d'ostéopathe. Le 24 mai 2012, A._ a contesté cette décision auprès de la Commission de recours CDIP/CDS (ci-après la Commission de recours), concluant à ce qu'il soit admis à participer à l'examen pratique réservé aux ostéopathes en exercice. Le 30 août 2012, il a adressé à la Commission d'examen un nouveau dossier de candidature pour s'inscrire à la dernière session d'examen pratique réservé aux ostéopathes en exercice, qui devait avoir lieu en novembre 2012. Il a complété sa demande avec d'autres documents le 5 septembre 2012, précisant qu'il avait entrepris des démarches pour obtenir le diplôme requis auprès de l'Ecole supérieure d'ostéopathie de Paris. Le 9 octobre 2012, la Commission d'examen a refusé une nouvelle fois d'inscrire A._ à l'examen pratique réservé aux ostéopathes en exercice, au motif que sa nouvelle demande ne contenait aucun fait nouveau par rapport à la première. Le 24 octobre 2012, A._ a informé la Commission de recours que l'Ecole supérieure d'ostéopathie de Paris allait prochainement lui délivrer un diplôme grâce au mécanisme de " validation des acquis de l'expérience ". Il a par ailleurs formé recours contre la décision du 9 octobre 2012 par acte du 9 novembre 2012. Le 18 décembre 2012, le recourant a transmis à la Commission de recours le titre national d'ostéopathe qui lui avait été décerné par l'Ecole supérieure d'ostéopathie de Paris. Après avoir joint les deux procédures, la Commission de recours a, par décision du 25 novembre 2013, rejeté les recours déposés par A._ à l'encontre des décisions des 24 avril et 9 octobre 2012. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler tant la décision du 25 novembre 2013 de la Commission de recours que les décisions des 24 avril et 9 octobre 2012 de la Commission d'examen, et d'admettre sa demande d'admission à l'examen intercantonal du 30 août 2012. La Commission d'examen a conclu au rejet du recours et à la confirmation de la décision de la Commission de recours. Celle-ci a renvoyé aux considérants de sa décision et conclu à sa confirmation.