Faits : A. A._, né en 1984, est inscrit depuis le semestre d'automne 2009 à la Faculté des HEC de l'Université de Lausanne dans la filière Maîtrise en sciences actuarielles. Il s'est présenté pour la seconde fois aux examens de deuxième année, lors de la session d'automne 2011, où il a obtenu une moyenne générale de 3.9. Le 13 septembre 2011, ladite faculté lui a communiqué son bulletin de notes et lui a signifié son échec définitif avec pour conséquence son exmatriculation. A._ a attaqué cette décision devant la Commission de recours de la Faculté des HEC, en remettant en cause l'évaluation faite de son travail dans deux matières, soit "Asset Pricing" (note obtenue: 3.5) et "Life Contingencies II" (note obtenue: 3.4). Il a au surplus requis que lui soit adressée une copie complète de ses épreuves et du corrigé. Ayant recueilli la prise de position des deux professeurs concernés, la Commission de recours de la Faculté des HEC a rejeté le recours de A._ par décision du 7 octobre 2011. Elle a retenu que les notes attribuées avaient été confirmées par les examinateurs. Relevant qu'il avait pu consulter ses épreuves dans les locaux de l'université le 13 septembre 2011, comme le veut la règle, la commission a confirmé l'échec définitif du candidat. Par décision du 25 janvier 2012, la Direction de l'Université de Lausanne (ci-après: la Direction de l'Université) a rejeté le recours formé. Se fondant sur les déterminations des deux professeurs, elle a considéré que les notes données au candidat ne relevaient pas de l'arbitraire et ne faisaient que sanctionner les connaissances scientifiques de l'étudiant. Elle a enfin écarté le grief de violation du droit d'être entendu s'agissant des modalités de la consultation du dossier d'examen. B. A._ a déféré cette décision devant de la Commission de recours de l'Université de Lausanne (ci-après: la Commission de recours de l'Université). La Présidente de cette commission a, par décisions incidentes des 24 février et 16 avril 2012, constaté une violation du droit d'être entendu et a admis la requête de l'intéressé tendant à ce que soient transmis à son conseil les copies des examens en cause et leurs corrigés pour consultation. A._ a alors déposé un mémoire complémentaire le 8 mai 2012. La Commission de recours de l'Université a rejeté le recours de l'intéressé le 21 juin 2012, considérant que les notes attribuées dans les matières litigieuses avaient été justifiées par les professeurs, lesquels avaient répondu précisément aux critiques du candidat; elle a, de plus, estimé que la violation du droit d'être entendu, consistant à refuser de mettre à disposition de A._ ou de son conseil une copie des examens écrits, avait été corrigée dans le cadre de la procédure de recours, ladite commission disposant d'un plein pouvoir d'examen. C. Par arrêt du 25 octobre 2013, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de A._. Elle a en substance écarté toute violation du droit d'être entendu en considérant, notamment, que les exigences minimales en matière de motivation des décisions administratives relatives au résultat d'examens avaient été respectées; il n'y avait, en outre, pas lieu de s'écarter de l'évaluation des épreuves de l'intéressé, celui-ci se bornant à opposer sa propre appréciation de ses prestations à celle des professeurs; partant, les notes octroyées et l'échec définitif devaient être confirmés. D. Agissant par la voie du recours constitutionnel subsidiaire, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 25 octobre 2013 du Tribunal cantonal en ce sens qu'il est autorisé à repasser l'examen d'Asset Pricing auprès de la Faculté des HEC, subsidiairement, d'annuler cet arrêt et de renvoyer la cause audit tribunal pour complément d'instruction et nouvelle décision dans le sens des considérants. Il invoque une violation de son droit d'être entendu, ainsi qu'une constatation arbitraire des faits. La Direction et la Commission de recours de l'Université renvoient à leur décision respective. Le Tribunal cantonal se réfère aux considérants de son arrêt et renonce à déposer des observations.