Faits : A. X._, né en ***, a été inscrit à *** l'Université de Lausanne dès l'année académique 2005-2006 en vue d'obtenir un baccalauréat universitaire ***. Le ***, il a été victime d'un grave accident lui ayant occasionné des fractures à la face et au crâne, ainsi qu'une atteinte médullaire. Il a souffert notamment d'une diplopie (vision double) qui s'est progressivement aggravée. Après la stabilisation de cette diplopie, il a pu subir une intervention chirurgicale qui s'est déroulée le 13 avril 2011. Inscrit à la première partie des examens de deuxième année à la session d'hiver 2009, il a été déclaré en "série non terminée" par procès-verbal de notes du 14 février 2009. Par la suite, il ne s'est pas présenté à deux épreuves pour raisons médicales dûment attestées. X._ a été déclaré en échec partiel, après avoir malgré tout présenté tous les examens auxquels il s'était inscrit pour la session d'automne 2009. A la session d'automne 2010, il s'est présenté à une seule des cinq épreuves, ce qu'il a justifié en produisant un certificat médical. Le 17 septembre 2010, la Faculté *** (ci-après: la Faculté) a proposé à X._, compte tenu de son état de santé, un programme spécial lui permettant de passer des examens de troisième année, alors même qu'il n'avait pas encore terminé sa deuxième année. Il a accepté cette offre et a présenté un examen de deuxième année et sept de troisième année à la session d'hiver 2011. Inscrit à la session d'été 2011 pour présenter trois examens de deuxième année et trois de troisième année, l'intéressé s'est retiré à la faveur d'un certificat médical. A la session d'hiver 2012, X._ a présenté huit examens de troisième année. A la session d'été 2012, il a présenté les trois derniers examens obligatoires de deuxième année ("***", "***" et "***") en dernière tentative. Il a obtenu des notes respectives de 3.0, 2.0 et 3.0 sur 6.0. B. Sur les quatorze épreuves que comptait la deuxième année, X._ a ainsi obtenu 54 points, alors que la moyenne de 4.0 supposait 56 points. Par procès-verbal du 14 juillet 2012, il a été informé être en situation d'échec définitif. Il a recouru contre ce procès-verbal auprès de la Faculté. Par décision du 24 août 2012, celle-ci a confirmé la situation d'échec en constatant notamment que l'intéressé ne pouvait pas recourir contre des notes autres que les trois dernières obtenues et contestées dans le délai de recours. Cette décision a été confirmée par la Direction de l'Université de Lausanne (ci-après: la Direction) le 22 novembre 2012. X._ a contesté ce prononcé devant la Commission de recours de l'Université de Lausanne (ci-après: la Commission). Précédemment, le 24 juillet 2012, suite à l'échec définitif de l'intéressé, le Services des immatriculations et inscriptions de l'Université de Lausanne a exmatriculé X._. Cette décision n'a pas été contestée, mais a fait l'objet d'une demande de réexamen dont la Commission s'est saisie sur recours le 25 janvier 2013. Celle-ci a joint les deux procédures pendantes par-devant elle le 21 mars 2013. Le 5 avril 2013, la Commission a rejeté le recours du 22 novembre 2012 et déclaré sans objet celui du 25 janvier 2013. Le 10 mai 2013, l'intéressé a saisi la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) d'un recours contre cette décision. Par arrêt du 24 juin 2014, le Tribunal cantonal a rejeté le recours de X._, dans la mesure de sa recevabilité. Après avoir limité l'objet du litige aux résultats des épreuves de la session d'été 2012, les juges cantonaux ont en particulier considéré que l'examen "***" ne présentait pas un vice entraînant son annulation et que X._ ne pouvait invoquer son état de santé postérieurement à la session d'examens pour invalider ses résultats. C. Agissant par la voie du recours constitutionnel subsidiaire, X._ demande en substance au Tribunal fédéral, sous suite de dépens, d'annuler la décision du Tribunal cantonal du 24 juin 2014, d'augmenter les notes de huit des quatorze examens de deuxième année et de constater son succès pour cette année, de valider les examens de troisième année et de l'autoriser à terminer celle-ci; subsidiairement de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants; plus subsidiairement d'annuler l'arrêt du Tribunal cantonal du 24 juin 2014, de l'autoriser à repasser certains examens de son choix, tout en validant les notes obtenues pour les examens de troisième année et de l'autoriser à terminer celle-ci; encore plus subsidiairement, en cas d'irrecevabilité du recours constitutionnel subsidiaire, de convertir celui-ci en "recours de droit administratif". Il se plaint d'établissement arbitraire des faits et d'arbitraire dans l'application du droit. Il invoque par ailleurs implicitement une violation de son droit d'être entendu. La Direction renvoie à ses déterminations déposées devant les instances précédentes, le Tribunal cantonal conclut au rejet du recours.