Faits :
A.
X._, né en ***, a été inscrit à *** l'Université de Lausanne dès l'année académique 2005-2006 en vue d'obtenir un baccalauréat universitaire ***. Le ***, il a été victime d'un grave accident lui ayant occasionné des fractures à la face et au crâne, ainsi qu'une atteinte médullaire. Il a souffert notamment d'une diplopie (vision double) qui s'est progressivement aggravée. Après la stabilisation de cette diplopie, il a pu subir une intervention chirurgicale qui s'est déroulée le 13 avril 2011.
Inscrit à la première partie des examens de deuxième année à la session d'hiver 2009, il a été déclaré en "série non terminée" par procès-verbal de notes du 14 février 2009. Par la suite, il ne s'est pas présenté à deux épreuves pour raisons médicales dûment attestées. X._ a été déclaré en échec partiel, après avoir malgré tout présenté tous les examens auxquels il s'était inscrit pour la session d'automne 2009. A la session d'automne 2010, il s'est présenté à une seule des cinq épreuves, ce qu'il a justifié en produisant un certificat médical. Le 17 septembre 2010, la Faculté *** (ci-après: la Faculté) a proposé à X._, compte tenu de son état de santé, un programme spécial lui permettant de passer des examens de troisième année, alors même qu'il n'avait pas encore terminé sa deuxième année. Il a accepté cette offre et a présenté un examen de deuxième année et sept de troisième année à la session d'hiver 2011. Inscrit à la session d'été 2011 pour présenter trois examens de deuxième année et trois de troisième année, l'intéressé s'est retiré à la faveur d'un certificat médical. A la session d'hiver 2012, X._ a présenté huit examens de troisième année. A la session d'été 2012, il a présenté les trois derniers examens obligatoires de deuxième année ("***", "***" et "***") en dernière tentative. Il a obtenu des notes respectives de 3.0, 2.0 et 3.0 sur 6.0.
B.
Sur les quatorze épreuves que comptait la deuxième année, X._ a ainsi obtenu 54 points, alors que la moyenne de 4.0 supposait 56 points. Par procès-verbal du 14 juillet 2012, il a été informé être en situation d'échec définitif. Il a recouru contre ce procès-verbal auprès de la Faculté. Par décision du 24 août 2012, celle-ci a confirmé la situation d'échec en constatant notamment que l'intéressé ne pouvait pas recourir contre des notes autres que les trois dernières obtenues et contestées dans le délai de recours. Cette décision a été confirmée par la Direction de l'Université de Lausanne (ci-après: la Direction) le 22 novembre 2012. X._ a contesté ce prononcé devant la Commission de recours de l'Université de Lausanne (ci-après: la Commission).
Précédemment, le 24 juillet 2012, suite à l'échec définitif de l'intéressé, le Services des immatriculations et inscriptions de l'Université de Lausanne a exmatriculé X._. Cette décision n'a pas été contestée, mais a fait l'objet d'une demande de réexamen dont la Commission s'est saisie sur recours le 25 janvier 2013. Celle-ci a joint les deux procédures pendantes par-devant elle le 21 mars 2013.
Le 5 avril 2013, la Commission a rejeté le recours du 22 novembre 2012 et déclaré sans objet celui du 25 janvier 2013. Le 10 mai 2013, l'intéressé a saisi la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) d'un recours contre cette décision.
Par arrêt du 24 juin 2014, le Tribunal cantonal a rejeté le recours de X._, dans la mesure de sa recevabilité. Après avoir limité l'objet du litige aux résultats des épreuves de la session d'été 2012, les juges cantonaux ont en particulier considéré que l'examen "***" ne présentait pas un vice entraînant son annulation et que X._ ne pouvait invoquer son état de santé postérieurement à la session d'examens pour invalider ses résultats.
C.
Agissant par la voie du recours constitutionnel subsidiaire, X._ demande en substance au Tribunal fédéral, sous suite de dépens, d'annuler la décision du Tribunal cantonal du 24 juin 2014, d'augmenter les notes de huit des quatorze examens de deuxième année et de constater son succès pour cette année, de valider les examens de troisième année et de l'autoriser à terminer celle-ci; subsidiairement de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants; plus subsidiairement d'annuler l'arrêt du Tribunal cantonal du 24 juin 2014, de l'autoriser à repasser certains examens de son choix, tout en validant les notes obtenues pour les examens de troisième année et de l'autoriser à terminer celle-ci; encore plus subsidiairement, en cas d'irrecevabilité du recours constitutionnel subsidiaire, de convertir celui-ci en "recours de droit administratif". Il se plaint d'établissement arbitraire des faits et d'arbitraire dans l'application du droit. Il invoque par ailleurs implicitement une violation de son droit d'être entendu.
La Direction renvoie à ses déterminations déposées devant les instances précédentes, le Tribunal cantonal conclut au rejet du recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (cf. <ref-law>). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (cf. <ref-ruling> consid. 1 p. 476 et les arrêts cités).
1.1. En vertu de l'art. 83 let. t LTF, le recours en matière de droit public n'est pas ouvert à l'encontre des décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité obligatoire, de formation ultérieure ou d'exercice d'une profession. Le motif d'irrecevabilité contenu dans cette disposition dépend en principe de la matière et non du grief soulevé (voir notamment arrêts 2C_422/2013 du 8 juillet 2013 consid. 1.1.1; 2C_40/2010 du 28 mai 2010 consid. 1.1).
Selon la jurisprudence, les décisions d'exmatriculation d'une université ou d'une haute école ou celles d'élimination d'une faculté ou d'un programme d'études tombent sous le coup de l'art. 83 let. t LTF lorsque la décision d'exmatriculation ou d'élimination est en lien avec une évaluation des capacités de l'étudiant évincé (<ref-ruling> consid. 1 p. 231; arrêt 2C_120/2010 du 16 décembre 2010 consid. 1.1, non publié in <ref-ruling>). Tel est précisément le cas en l'espèce, puisque le recours porte, au fond, sur l'échec définitif du recourant au baccalauréat universitaire ***, de sorte que le recours en matière de droit public est irrecevable. Seule est donc potentiellement ouverte la voie du recours constitutionnel subsidiaire.
Le mandataire du recourant méconnaît la portée et le caractère subsidiaire de ce recours. Ainsi, la conclusion tendant à convertir celui-ci en "recours de droit administratif", voie de droit abolie avec l'entrée en vigueur de la LTF le 1er janvier 2007, doit d'emblée être déclarée irrecevable.
1.2. Le recourant a pris part à la procédure devant le Tribunal cantonal et dispose d'un intérêt juridique à obtenir l'annulation ou la modification de la décision attaquée afin de poursuivre sa formation (<ref-law>). Dirigé contre une décision finale (art. 117 et 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 114 et 86 al. 1 let. d et al. 2 LTF), le recours a été déposé en temps utile (art. 117 et 100 al. 1 LTF) et dans les formes requises (<ref-law>). Il est donc en principe recevable.
1.3. Les conclusions et griefs dirigés contre des décisions émanant d'autres instances que l'arrêt attaqué sont irrecevables en raison de l'effet dévolutif du recours auprès du Tribunal cantonal et de l'exigence d'épuisement des instances cantonales (cf. art. 114 et 86 al. 1 let. d LTF). Ainsi, les griefs directement dirigés contre le correcteur des examens ou contre la Faculté sont irrecevables (cf. arrêt 2C_449/2013 du 21 février 2014 consid. 1.3 et les arrêts cités).
1.4. Le recours constitutionnel subsidiaire ne peut être formé que pour violation des droits constitutionnels (<ref-law>). En vertu de l'<ref-law>, applicable par renvoi de l'<ref-law>, les griefs y relatifs doivent être invoqués et motivés de façon détaillée, sous peine d'irrecevabilité (<ref-ruling> consid. 3 p. 237).
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter les constatations de l'autorité précédente si les faits ont été établis en violation du droit au sens de l'<ref-law> (<ref-law>), ce que le recourant doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation posées à l'<ref-law> (<ref-ruling> consid. 3.2 p. 444 s.; arrêt 2C_144/2009 du 15 juin 2009, consid. 2.2). Sont ainsi d'emblée irrecevables les références faites par le recourant notamment à son état de santé ou aux spécificités des corrections de ses examens; s'en prévalant de façon appellatoire, le recourant n'en traite en effet pas en lien, en particulier, avec l'interdiction de l'arbitraire garantie à l'art. 9 Cst. (<ref-law>).
3.
Sans toutefois invoquer la violation de son droit d'être entendu (mais à tort l'interdiction de l'arbitraire), le recourant reproche à l'autorité précédente de ne pas avoir procédé à l'audition d'un médecin. A ce propos, il cite par contre l'art. 6 CEDH.
3.1. Selon la jurisprudence de la Cour européenne des droits de l'homme, reprise par le Tribunal fédéral, faute de l'existence d'une "contestation", l'art. 6 § 1 CEDH est inapplicable aux procédures portant sur le résultat d'examens (cf. <ref-ruling> consid. 2.6 ss p. 470 ss et les références citées, arrêt 2D_5/2012 du 19 août 2012 consid. 2.2; arrêt de la CourEDH, van Marle contre Pays-Bas du 26 juin 1986, série A, vol. 101 § 34-37). Les griefs tirés de la violation de cette norme sont par conséquent rejetés.
3.2. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes (<ref-ruling> consid. 9.2 p. 48 s. et les références citées). Ce droit suppose que le fait à prouver soit pertinent, que le moyen de preuve proposé soit nécessaire pour constater ce fait et que la demande soit présentée selon les formes et délais prescrits par le droit cantonal (<ref-ruling> consid. 5b/bb p. 505 s.). L'autorité peut cependant mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 4.3.2 p. 376 s.; <ref-ruling> consid. 5.3 p. 236 s.).
3.3. Le recourant fait grief au Tribunal cantonal de ne pas avoir entendu son médecin et d'ainsi ne pas avoir tenu compte de son état de santé pour statuer. Il n'indique cependant pas du tout dans quelle mesure l'appréciation anticipée des preuves effectuée par l'autorité précédente serait arbitraire et n'explique pas non plus en quoi ce moyen de preuve serait pertinent. En effet, il est établit que le recourant s'est présenté aux examens, se réservant ainsi unilatéralement le droit de recourir en cas d'échec. Il lui incombait bien plus de déposer au préalable une attestation médicale pour mettre en évidence son incapacité à se présenter à ces examens. Une audition de son médecin qui aurait été effectuée dans de telles circonstances ne lui est d'aucun secours. Sa motivation ne répondant aucunement aux conditions de l'<ref-law>, son recours, sur ce point, doit être déclaré irrecevable.
4.
Le litige porte en définitive sur la question de savoir si c'est de manière arbitraire que le Tribunal cantonal a confirmé sur recours la décision prononçant l'échec définitif du recourant dans ses études universitaires.
4.1. Une décision est arbitraire (art. 9 Cst.) lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.1 p. 211). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5 et les arrêts cités).
Conformément à sa jurisprudence constante, le Tribunal cantonal s'est imposé une retenue particulière dans l'appréciation de résultats d'examens à l'instar du Tribunal fédéral. En effet, en matière d'examen, le Tribunal fédéral fait preuve d'une retenue particulière et n'annule le prononcé attaqué que si l'autorité précédente s'est laissée guider par des motifs sans rapport avec l'examen ou d'une autre manière manifestement insoutenables, de telle sorte que celui-ci apparaît arbitraire (<ref-ruling> consid. 3.1 p. 473 et les références; arrêt 2D_14/2011 du 29 août 2011 consid. 1.3 et les arrêts cités; 2D_55 /2010 du 1er mars 2011 consid. 1.5).
4.2. L'autorité cantonale a limité l'objet de la contestation aux examens de deuxième année. Il faut ici constater que le recourant ne motive nullement en quoi l'appréciation de l'autorité précédente sur ce point serait arbitraire. Au demeurant, dès lors que la décision contestée devant le Tribunal cantonal ne traite que des examens de deuxième année, l'irrecevabilité des conclusions relatives aux examens de troisième année, prononcée par celui-ci, ne saurait être qualifiée d'arbitraire.
4.3. Les juges cantonaux ont ensuite considéré que chaque procès-verbal de note contenait des voies de droit et que seuls les résultats des trois derniers examens passés lors de la session d'été 2012, à l'exclusion de ceux des session antérieures, avaient été contestés devant eux. Il est fort douteux que la motivation du recours à ce propos soit suffisante et remplisse les conditions de l'<ref-law>. Toutefois, cette question peut souffrir de rester indécise, le recours devant de toute façon être rejeté sur ce point. En effet, c'est sans arbitraire que le Tribunal cantonal a admis l'existence de voies de droit, le recourant l'ayant expressément reconnu par écrit en date du 4 septembre 2012. Sur cette base, c'est également sans arbitraire que l'autorité précitée, se fondant sur le règlement de la Faculté et sur la loi vaudoise du 6 juillet 2004 sur l'Université de Lausanne (LUL/VD; RSV 414.11), a jugé qu'il appartenait au recourant de contester chaque note dans les 10 jours suivant sa notification. Au demeurant, le recourant ne fait pas valoir à suffisance une application arbitraire de la législation cantonale à ce propos.
4.4. Après avoir exclu d'augmenter la note de l'examen "***" de 2.0 à 4.5, le Tribunal cantonal a en particulier jugé que la donnée n'était pas trompeuse et que même si le barème n'avait effectivement été fixé qu'au moment de la correction, cela ne constituait pas un vice de nature à entraîner l'annulation de l'examen. Le fait de ne pas indiquer, dans la donnée d'examen, la pondération de chaque question n'est d'emblée pas arbitraire, du moment que l'on peut attendre d'un candidat qu'il réponde à toutes les questions dans le temps qui lui est imparti, ce qui n'est pas contesté en l'espèce. Par ailleurs, il n'est pas non plus insoutenable de considérer, comme l'a fait l'autorité précédente, que lorsque pratiquement la moitié des pa-ges de documentation et des pages de données de l'examen concerne une seule question, qui plus est la première, on ne saurait parler de présentation trompeuse. Le recourant n'invoque pas d'application arbitraire d'une disposition règlementaire qui prévoirait l'obligation d'indiquer la pondération des questions dans la donnée d'examen. En outre, le reste de l'argumentation du recourant relative à cet examen est fondé sur des faits qui n'ont pas été retenus par l'autorité précédente et qu'il n'y a pas lieu de prendre en compte (cf. consid. 2 ci-dessus).
4.5. Le recourant dénonce des "pressions" de la Faculté, en ce que celle-ci lui aurait signifié qu'il devait terminer sa deuxième année lors de la session d'examens de l'été 2012. Les faits invoqués à l'appui de ce grief n'ont de loin pas tous été retenus par l'autorité cantonale. Au demeurant, la Faculté n'a fait que rappeler au recourant qu'il était nécessaire de respecter la durée maximale des études de baccalauréat universitaire prévue par le règlement. Contrairement à ce qu'il pense, un tel rappel ne constitue nullement des pressions. En tout état de cause, il n'explique pas en quoi une telle application du règlement serait contraire à un droit constitutionnel. A ce propos, c'est également sans arbitraire que le Tribunal cantonal a jugé que si le recourant estimait ne pas être en mesure de se présenter aux examens en raison d'une atteinte à sa santé préexistante et connue, il devait en avertir la Faculté avant la session d'été 2012 et ne pouvait s'en prévaloir après avoir reçu ses résultats. Il s'agit en définitive d'une simple application du principe de la bonne foi qui doit régir les relations entre les justiciables et les autorités, ceux-ci devant exercer leurs droits dans un esprit de loyauté (cf. <ref-ruling> consid. 3.3 p. 508 s.; <ref-ruling> consid. 5f p. 37 s.; Auer/Malinverni/Hottelier, Droit constitutionnel suisse, Vol. II, 3e éd. 2013, n° 1183).
4.6. Pour le surplus, les éventuelles autres critiques contenues dans le mémoire de recours, faute de se fonder sur des faits retenus par l'autorité précédente ou d'être motivées conformément aux exigences de l'<ref-law>, doivent être déclarées irrecevables.
5.
Les considérants qui précèdent conduisent au rejet du recours constitutionnel subsidiaire dans la mesure où il est recevable. Succombant, le recourant supporte les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à la Direction de l'Université de Lausanne, à la Commission de recours de l'Université de Lausanne et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 2 février 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette