Faits : A. Après avoir obtenu son diplôme d'ostéopathe à l'Ecole suisse d'ostéopathie de Lausanne en octobre 2001, X._ s'est installé dans le canton de Neuchâtel pour y exercer sa profession. Le 2 novembre 2012, pour la deuxième fois après un premier échec, X._ a soutenu l'examen pratique de la seconde partie de l'examen intercantonal pour ostéopathes, ouvert aux praticiens déjà en exercice. Aux côtés des deux membres du jury, un troisième expert, en l'occurrence Y._, Présidente de la Commission intercantonale d'examen en ostéopathie (ci-après la Commission d'examen), a assisté à l'épreuve. B. Le 5 novembre 2012, la Commission d'examen a informé X._ qu'il avait obtenu la note globale de 3,5 et avait en conséquence échoué à l'examen pratique du 2 novembre 2012. Selon la Commission d'examen, le jury a considéré que des lacunes importantes étaient apparues "dans l'examen clinique, la synthèse médicale et ostéopathique, ainsi que lors de la discussion". Le 6 décembre 2012, X._ a recouru contre cette décision auprès de la Commission de recours CDIP/CDS (ci-après la Commission de recours), l'instance de recours instaurée conjointement par la Conférence suisse des directeurs cantonaux de l'instruction publique (CDIP) et la Conférence suisse des directrices et directeurs cantonaux de la santé (CDS). Le 12 mai 2014, la Commission de recours a rejeté le recours formé par X._ et confirmé la décision de la Commission d'examen du 5 novembre 2012. Elle a retenu en substance que le procès-verbal d'examen avait été établi correctement, que la présence de Y._ lors de l'examen était conforme aux règles applicables et que, concernant l'évaluation de la prestation de X._, la décision attaquée n'apparaissait ni insoutenable ni manifestement injuste. C. Agissant par la voie du recours constitutionnel subsidiaire, X._ conclut, sous suite de frais et dépens, à ce que le Tribunal fédéral annule la décision du 12 mai 2014 de la Commission de recours, lui attribue une note suffisante et lui délivre le diplôme intercantonal d'ostéopathe. Subsidiairement, il requiert le renvoi de la cause à la Commission de recours pour nouvelle décision dans le sens des considérants. Plus subsidiairement encore, il demande à la Cour de céans de lui accorder le droit de passer une nouvelle fois l'examen pratique en question, en tant que deuxième tentative. Invitées à se déterminer, la Commission de recours a renvoyé aux considérants de la décision attaquée et conclu à sa confirmation, alors que la Commission d'examen, en se référant à sa décision initiale et aux écritures déposées en cours de procédure, a conclu au rejet du recours.