Faits:
A.
X._ a été immatriculé dès le semestre d'été 2008/2009 comme étudiant en Faculté des géosciences et de l'environnement (GSE) de l'Université de Lausanne (UNIL), en vue d'études de maîtrise universitaire ès sciences en géographie, mention études urbaines. Ces études de maîtrise comprennent un "module commun" et un "module de spécialisation et études urbaines". Ces modules sont divisés en plusieurs blocs, qui sont eux-mêmes subdivisés en plusieurs cours.
B.
X._ a échoué une première fois aux épreuves du second module de la maîtrise lors de la session d'examen d'hiver 2011, puis une seconde fois lors de la session d'examen d'été 2011, se retrouvant alors en situation d'échec définitif. Il a obtenu les notes suivantes:
- Gouvernance, participation et expertise: 3.5
- Projet territorial et techniques de participation: 4.5
- Géovisualisation et traitement de l'information: 2.75
Le 21 juillet 2011, X._ a été exmatriculé en raison de son échec définitif. Le 2 août 2011, il a recouru contre son échec définitif et son exmatriculation. Par décision du 14 septembre 2011, la Commission de recours de la Faculté des GSE a rejeté le recours de l'intéressé contre cette décision. Par décision du 12 octobre 2011, la Direction de l'UNIL a rejeté le recours subséquent de l'intéressé. Par décision du 15 mars 2012, la Commission de recours de l'UNIL (CRUL) a rejeté le recours déposé contre la décision du 12 octobre 2011.
C.
Par arrêt du 22 avril 2013, la Cour de droit administratif et public du Tribunal cantonal a confirmé la décision rendue le 15 mars 2013 par la CRUL.
D.
X._ forme un recours en matière de droit public et un recours constitutionnel subsidiaire au Tribunal fédéral. Outre l'édition du dossier cantonal, l'octroi de l'assistance judiciaire respectivement de l'assistance gratuite d'un conseil, il demande au Tribunal fédéral, principalement, de réformer l'arrêt du Tribunal cantonal en ce sens qu'il est dit que l'examen est réussi. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
L'Université de Lausanne conclut au rejet du recours alors que le Tribunal cantonal renonce à se déterminer sur ce dernier.
Par courrier du 15 août 2013, X._ s'est déterminé sur les observations de l'Université de Lausanne.

Considérant en droit:
1.
Le Tribunal fédéral examine d'office et librement sa compétence, respectivement la recevabilité des recours qui lui sont soumis (<ref-law>; <ref-ruling> consid. 1 p. 37).
1.1. Le recourant a déposé, dans la même écriture (cf. <ref-law>), à la fois un recours en matière de droit public et un recours constitutionnel subsidiaire. Ce dernier n'étant ouvert qu'à la condition que la décision attaquée ne puisse faire l'objet d'aucun recours ordinaire (cf. <ref-law>), il convient d'examiner en premier lieu la recevabilité du recours en matière de droit public.
1.1.1. En vertu de l'art. 83 let. t LTF, le recours en matière de droit public n'est pas ouvert à l'encontre des décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité obligatoire, de formation ultérieure ou d'exercice d'une profession. Le motif d'irrecevabilité contenu dans cette disposition dépend en principe de la matière et non du grief soulevé (voir notamment arrêts 2C_422/2013 du 8 juillet 2013 consid. 1.1.1; 2C_40/2010 du 28 mai 2010 consid. 1.1).
1.1.2. Selon la jurisprudence, les décisions d'exmatriculation d'une université ou d'une haute école ou celles d'élimination d'une faculté ou d'un programme d'études tombent sous le coup de l'art. 83 let. t LTF lorsque la décision d'exmatriculation ou d'élimination est en lien avec une évaluation des capacités de l'étudiant évincé (<ref-ruling> consid. 1 p. 231; arrêt 2C_120/2010 du 16 décembre 2010 consid. 1.1, non publié in <ref-ruling>). Tel est précisément le cas en l'espèce, de sorte que le recours en matière de droit public est irrecevable. Seule est donc potentiellement ouverte la voie du recours constitutionnel subsidiaire.
1.2. Le recourant a qualité pour recourir au sens de l'<ref-law>, car il a pris part à la procédure devant le Tribunal cantonal et dispose d'un intérêt juridique à obtenir l'annulation ou la modification de la décision attaquée afin de poursuivre sa formation. Par ailleurs, son recours a été déposé en temps utile (art. 117 et 100 al. 1 LTF) et dans les formes prévues par la loi (<ref-law>) contre une décision finale (art. 117 et 90 LTF) émanant d'un tribunal supérieur statuant en dernière instance cantonale (art. 114 et 86 LTF). Il convient donc d'entrer en matière sur le recours, sous réserve des précisions suivantes.
1.3. Lorsque le grief porte sur la violation d'un droit constitutionnel, la motivation est soumise aux exigences accrues de l'<ref-law> (<ref-law>). Il s'ensuit que le Tribunal fédéral n'examine les critiques relevant de l'interdiction de l'arbitraire que si elles ont été expressément soulevées et exposées de façon claire et détaillée (<ref-ruling> consid. 3.2 p. 88). Il n'entre pas en matière sur des critiques appellatoires concernant l'établissement des faits ou l'appréciation des preuves opérés par l'autorité précédente (cf. <ref-ruling> consid. 5.2.2 p. 322).
Il convient d'entrée de cause de relever que la majorité des critiques formulées par le recourant ne répondent pas aux exigences de motivation de l'<ref-law> car elles sont formulées sur un mode purement appellatoire. Partant, les griefs soulevés dans le recours se révèlent largement irrecevables. Seuls sont donc examinés ci-après ceux qui répondent aux exigences de l'<ref-law>.
2.
Invoquant les art. 29 al. 2 Cst. et 6 § 1 CEDH, le recourant fait valoir divers griefs formels relatifs au droit d'être entendu.
2.1. Selon la jurisprudence de la Cour européenne des droits de l'homme, reprise par le Tribunal fédéral, faute de l'existence d'une "contestation", l'art. 6 § 1 CEDH est inapplicable aux procédures portant sur le résultat d'examens (cf. <ref-ruling> consid. 2.6 ss p. 470 ss et les références citées, arrêt 2D_5/2012 du 19 août 2012 consid. 2.2; arrêt de la CourEDH, van Marle contre Pays-Bas du 26 juin 1986, série A, vol. 101 § 34-37). Les grief tirés de la violation de cette norme sont par conséquent rejetés.
2.2. Le droit d'être entendu tiré de l'art. 29 al. 2 Cst. est une garantie constitutionnelle de nature formelle, dont la violation entraîne l'annulation de la décision attaquée sans égard aux chances de succès du recours sur le fond (<ref-ruling> consid. 2.6.1 p. 285). Ce moyen doit par conséquent être examiné en premier lieu (<ref-ruling> consid. 2.2 p. 197).
2.3. Le recourant se plaint d'abord d'une violation de son droit d'être entendu pour cause de motivation insuffisante de l'arrêt attaqué.
La motivation respecte l'art. 29 al. 2 Cst., selon la jurisprudence, si l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause; l'autorité n'est en revanche pas tenue de se prononcer sur tous les moyens des parties, mais peut au contraire se limiter aux questions décisives pour trancher le litige (cf. <ref-ruling> consid. 5.2 p. 236; <ref-ruling> consid. 2.2.1 p. 188).
En l'espèce, contrairement à ce que prétend le recourant, l'arrêt attaqué permet de comprendre les motifs qui ont conduit le Tribunal cantonal à rejeter ses arguments. Preuve en est le recours fort détaillé qu'il a été en mesure de produire pour se plaindre du rejet de son recours par l'instance précédente. Le grief est dès lors mal fondé.
2.4. Le recourant se plaint aussi de ce que le Tribunal cantonal n'aurait pas procédé à l'administration de divers moyens de preuve offerts.
Le droit de faire administrer des preuves suppose que le fait à prouver soit pertinent, que le moyen de preuve proposé soit nécessaire pour constater ce fait et que la demande soit présentée selon les formes et délais prescrits (cf. <ref-ruling> consid. 5.3 p. 148). Par ailleurs, cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (cf. <ref-ruling> consid. 2.1 p. 429).
Tel est précisément le cas en l'espèce dès lors que l'instance précédente disposait de toutes les informations utiles pour trancher le litige. Outre l'audition du recourant, elle a procédé à l'interrogatoire du Professeur A._ et a obtenu toutes les informations utiles de l'assistant de ce dernier ainsi que de l'Université en rapport avec le mode de notation et l'abandon du système bonus/malus en relation avec les travaux rendus. Elle pouvait donc, sans arbitraire, se dispenser d'administrer d'autres moyens de preuve.
Les griefs de violation du droit d'être entendu doivent donc être rejetés.
3.
Invoquant l'art. 9 Cst., le recourant se plaint de la violation de l'interdiction de l'arbitraire.
3.1. Le recours constitutionnel peut être formé pour violation des droits constitutionnels (<ref-law>). Par conséquent, une application arbitraire du droit cantonal, contraire à l'art. 9 Cst., constitue un motif de recours pouvant être invoqué dans le cadre d'un recours constitutionnel subsidiaire (cf. <ref-ruling> consid. 1.2.1 p. 251 s.). Le Tribunal fédéral n'examine cette question que si le grief est soulevé et dûment motivé par le recourant (cf. art. 106 al. 2 et 117 LTF).
3.2. Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. Il ne suffit pas que la motivation de la décision critiquée soit insoutenable; encore faut-il que celle-ci se révèle arbitraire dans son résultat. En outre, il n'y a pas arbitraire du seul fait qu'une autre solution que celle adoptée par l'autorité intimée serait concevable, voire préférable (cf. <ref-ruling> consid. 3.1 p. 153 et les arrêts cités).
Conformément à sa jurisprudence constante, le Tribunal cantonal s'est imposé une retenue particulière dans l'appréciation de résultats d'examens à l'instar du Tribunal fédéral. En effet, en matière d'examen, le Tribunal fédéral fait preuve d'une retenue particulière et n'annule le prononcé attaqué que si l'autorité précédente s'est laissée guider par des motifs sans rapport avec l'examen ou d'une autre manière manifestement insoutenables, de telle sorte que celui-ci apparaît arbitraire (<ref-ruling> consid. 3.1 p. 473 et les références; arrêt 2D_14/2011 du 29 août 2011 consid. 1.3 et les arrêts cités; 2D_55 /2010 du 1er mars 2011 consid. 1.5).
3.3. Le recourant fait valoir que, dans la mesure où l'un des examinateurs - la Professeure B._ - aurait après coup été d'accord de porter la note de 4,5 à 5, le Tribunal cantonal ne pouvait faire abstraction de cet accord. Or, le doyen de la Faculté des GSE et la CRUL ont considéré que l'augmentation de la note serait inopportun. Dans l'arrêt attaqué, le Tribunal cantonal a laissé cette question ouverte et n'a pas accordé le demi-point en cause. Dans ces circonstances, il incombait au recourant d'établir que le Tribunal cantonal avait, le cas échéant, appliqué de manière arbitraire des règles de droit cantonal qui lui auraient fait obligation de s'écarter de l'avis du doyen et de la CRUL, ce qu'il n'a pas fait. N'étant pas motivé de manière conforme aux exigences de l'<ref-law>, le grief est irrecevable.
Au demeurant, il ressort de l'arrêt attaqué que la Professeure n'aurait pour l'essentiel pas été d'accord de procéder au réajustement de la note au regard de la prestation effectuée par le recourant au cours de l'examen. Elle n'y aurait consenti qu'à la suite d'un entretien téléphonique ultérieur avec ce dernier au cours duquel elle avait pu constater "la pertinence de son raisonnement et de ses connaissances dans le domaine" et pour tenir compte des "circonstances de grand stress" consécutives à la perte de données informatiques cinq jours avant le rendu final du travail qui a reçu la note de 2,75 par le Professeur Hy Dao. Dans de telles conditions, même si le grief avait été recevable, il n'aurait pas été arbitraire de refuser de réajuster la note en la majorant d'un demi-point.
4.
Ce n'est que si la note de la Professeur B._ avait été portée à 5 que le recourant aurait pu espérer obtenir la moyenne de 4 et éviter l'exmatriculation. Partant, il n'y a pas lieu d'examiner les griefs matériels dirigés contre les autres notes. Il suffit de relever que le fait de ne pas appliquer le système bonus/malus, initialement prévu et qui n'a finalement pas été mis en oeuvre par l'UNIL, n'a créé aucune inégalité de traitement entre les étudiants. Le recourant ne peut donc pas s'en plaindre. Il y aurait du reste eu inégalité de traitement si le recourant avait bénéficié seul d'un tel régime.
5.
Enfin, le recourant se prévaut d'une violation du principe de la proportionnalité. Exprimé de manière générale à l'art. 5 al. 2 Cst., le respect de la proportionnalité dans l'activité administrative exige que la mesure prise par l'autorité soit raisonnable et nécessaire pour atteindre le but d'intérêt public ou privé poursuivi (cf. <ref-ruling> consid. 3.2 p. 91 s.). Bien qu'étant de rang constitutionnel, le principe de la proportionnalité n'est pas un droit fondamental ayant une portée propre (cf. <ref-ruling> consid. 3.1 p. 251). Sa violation ne peut par conséquent pas être invoquée par la voie du recours constitutionnel subsidiaire (<ref-law>).
6.
Les considérants qui précèdent conduisent au rejet du recours constitutionnel subsidiaire dans la mesure où il est recevable. Le recours était dénué de chances de succès, de sorte que la requête d'assistance judiciaire doit être rejetée (cf. art. 64 al. 1 et 2 LTF a contrario ). La requête en production du dossier cantonal est sans objet, le Tribunal cantonal l'ayant produit d'office. Succombant, le recourant supporte les frais judiciaires (<ref-law>) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours en matière de droit public est irrecevable.
2.
Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
3.
La requête d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au recourant, à la Direction de l'Université de Lausanne et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 27 août 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Dubey