Faits :
A.
A.a. A._ est inscrit à la Faculté de droit, des sciences criminelles et d'administration publique de l'Université de Lausanne (ci-après : la Faculté), depuis l'année académique 2014-2015, en vue de l'obtention d'une Maîtrise en droit, criminalité et sécurité des technologies de l'information. En janvier 2017, il a réussi ses derniers examens, obtenant la moyenne de 4,8 aux enseignements obligatoires et la moyenne de 4,9 aux enseignements optionnels, mention intelligence économique. Il devait encore soutenir son mémoire.
Le 6 janvier 2017, A._ a pris contact avec le Service de consultation psychothérapeutique de l'EPFL et de l'UNIL. N'ayant aucune disponibilité, ledit service lui a conseillé de prendre rendez-vous avec son généraliste ou de se rendre aux urgences.
Un jury a refusé le mémoire de l'intéressé, en date du 13 janvier 2017.
Le 5 février 2017, une dérogation à la durée maximale des études a été accordée à A._, qui s'est vu octroyer un semestre supplémentaire pour soutenir son mémoire en seconde tentative durant la session de juin 2017.
A._ a été hospitalisé en urgence du 16 au 17 février 2017, à la suite d'une morsure de chat. Deux jours plus tard, le 19 février 2017, son grand-père est décédé. L'intéressé a, à nouveau, été hospitalisé en urgence du 15 au 16 juin 2017: il a alors entamé un traitement auprès du Centre ambulatoire de psychiatrie et de psychothérapie intégrée des Eaux-Vives (ci-après: le Centre de psychiatrie).
Le 16 juin 2017, A._ a annoncé son retrait de la soutenance de son mémoire fixée au 29 juillet 2017, pour cause de maladie. Outre un certificat médical du 16 juin 2017 du Service des urgences des Hôpitaux Universitaires de Genève mentionnant un arrêt de travail pour maladie à 100 % du 16 au 17 juin 2017, il a produit un certificat médical du 29 juin 2017 attestant d'un suivi auprès du Centre de psychiatrie, depuis le 19 juin 2017, en raison d'une symptomatologie anxio-dépressive et d'un dysfonctionnement majeur dans la gestion de ses affaires.
Le 5 juillet 2017, la Direction de l'Ecole de droit a informé A._ qu'elle acceptait sa demande de retrait pour la soutenance de son mémoire. L'attention de celui-ci a été attirée sur le fait qu'il lui appartenait de prendre contact avec son directeur de mémoire, afin de convenir d'une nouvelle date de soutenance au cours de la prochaine session d'examens débutant le 21 août 2017 et que, si son état de santé ne lui permettait pas de se présenter à cette session, un nouveau certificat médical devrait être fourni dans les meilleurs délais.
La grand-mère de A._ a été hospitalisée, à la suite d'une embolie pulmonaire le 8 juillet 2017; elle est décédée le 14 juillet suivant. L'intéressé a été hospitalisé en urgence du 31 juillet au 1 er août 2017 pour une nouvelle morsure.
A._ n'a pas soutenu son mémoire durant la session d'examens d'août 2017. En conséquence, par décision du 21 septembre 2017, la Direction de l'Ecole de droit lui a signifié son échec définitif à la Maîtrise universitaire en droit, criminalité et sécurité des technologies de l'information et, partant, son exclusion de la Faculté. Cette décision était motivée par l'absence de la soutenance du mémoire dans les délais requis et par le dépassement de la durée maximale des études.
A.b. Par décision du 7 décembre 2017, la Commission de recours de l'Ecole de droit a refusé la " demande de grâce " déposée par A._.
La Direction de l'UNIL a fait de même en date du 5 mars 2018.
B.
Par arrêt du 28 mars 2019, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de A._ à l'encontre de la décision du 5 mars 2018 de la Direction de l'UNIL. Elle a en substance jugé qu'en tant que la Direction de l'Ecole de droit n'avait pas interpellé l'intéressé avant de prononcer son échec définitif, compte tenu des circonstances, le droit d'être entendu de celui-ci n'avait pas été violé; les conditions pour la restitution d'un délai pour la présentation du mémoire n'étaient pas remplies; la situation de A._ ne revêtait pas non plus un caractère exceptionnel qui eut justifié l'octroi d'une grâce.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de dire qu'il sera réintégré dans la Faculté et qu'il bénéficiera d'un délai supplémentaire pour présenter sa soutenance de mémoire.
L'UNIL a renoncé à déposer des observations. Le Tribunal cantonal se réfère aux considérants de l'arrêt attaqué.

Considérant en droit :
1.
Ayant trait à la question de la restitution d'un délai pour soutenir un mémoire de maîtrise, le recours en matière de droit public ne tombe pas sous le coup de l'exception de l'art. 83 let. t LTF.
En outre, déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>) à l'encontre d'un arrêt final (<ref-law>) rendu dans une cause de droit public (<ref-law>), par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF), par l'intéressé qui a la qualité pour recourir (<ref-law>), le recours est recevable.
2.
Le recourant considère que son droit d'être entendu n'a pas été respecté. Il se plaint d'une violation des art. 29 Cst. et 89 let. b du règlement du 6 juillet 2004 d'application de la loi sur l'Université de Lausanne (RLUL; RS 414.11.1), selon lequel l'étudiant doit être formellement averti avant d'être exclu d'une faculté. Or, la Faculté aurait procédé à son exclusion, en date du 21 septembre 2017, sans avertissement préalable. Une telle mise en garde lui aurait permis de demander une seconde prolongation d'un semestre pour présenter son mémoire.
2.1. Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation entraîne en principe l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond (<ref-ruling> consid. 5.3 p. 17; <ref-ruling> consid. 2.8.1 p. 226).
Le contenu du droit d'être entendu et les modalités de sa mise en oeuvre sont déterminés en premier lieu par les dispositions cantonales de procédure, dont le Tribunal fédéral ne revoit l'application et l'interprétation que sous l'angle restreint de l'arbitraire; dans tous les cas, l'autorité cantonale doit cependant observer les garanties minimales déduites de l'art. 29 al. 2 Cst., dont le Tribunal fédéral examine librement le respect (<ref-ruling> consid. 2.2 p. 281; <ref-ruling> consid. 2.1.1 p. 161).
2.2. L'art. 89 al. 1 let. b RLUL, invoqué par le recourant, est plus précis que l'art. 29 al. 2 Cst. Selon cette disposition, est exclu de la faculté l'étudiant qui ne se présente pas aux examens ou qui ne termine pas ses études dans les délais fixés par le règlement de la faculté concernée. L'art. 89 al. 1 let. b in fine RLUL dispose que l'exclusion ne peut être prononcée que si l'étudiant en a été préalablement averti par la faculté concernée.
2.3. L'arrêt attaqué a admis que la Direction de l'Ecole de droit n'avait pas communiqué au recourant son intention de prononcer l'échec définitif de celui-ci à la Maîtrise universitaire en droit, criminalité et sécurité des technologies de l'information et son exclusion de la Faculté de droit, des sciences criminelles et d'administration publique avant de rendre sa décision du 21 septembre 2017. Il a néanmoins retenu que l'intéressé n'avait pas soutenu son mémoire à la session d'août 2017 et que celui-ci avait été dûment averti qu'un certificat médical devrait être transmis dans les meilleurs délais si son état de santé ne lui permettait pas de se présenter à ladite session. Le recourant ne pouvait pas escompter que l'autorité compétente lui octroierait une occasion supplémentaire de se prononcer, ce d'autant que celle-ci avait fondé sa décision sur la durée maximale des études qui était dépassée, ce que l'intéressé devait savoir.
2.4. En l'espèce, le 5 juillet 2017, la Direction de l'Ecole de droit a accepté la demande du recourant tendant à ne pas soutenir son mémoire le 29 juillet suivant pour cause de maladie. Dans le courrier susmentionné, l'attention de celui-ci a effectivement été attirée sur le fait qu'il lui appartenait de contacter son directeur de mémoire, afin de convenir d'une nouvelle date pour la prochaine session d'examens, à savoir celle d'août 2017 et que, si son état de santé ne lui permettait pas de se présenter à cette session, un nouveau certificat médical devrait être fourni dans les meilleurs délais.
Cette mise en garde ne saurait être assimilée à l'avertissement formel requis par l'art. 89 al. 1 let. b RLUL. La Direction de l'Ecole n'a pas communiqué au recourant son intention de prononcer l'échec définitif de celui-ci et, par conséquent, son exclusion de la Faculté, comme la disposition susmentionnée l'y obligeait. Certes, le recourant devait connaître le délai dans lequel le mémoire devait être déposé, c'est-à-dire dans les six mois suivant l'acquisition des crédits ECTS requis pour la maîtrise (art. 21 al. 4 du règlement de la Faculté des hautes études commerciales et de la Faculté de droit, des sciences criminelles et d'administration publique de la Maîtrise universitaire en droit, criminalité et sécurité des technologies de l'information (ci-après: le règlement de la Maîtrise en droit); https://www.unil.ch/dcs/fr/home/menuinst/enseignements/ reglement-m-dcs.html. Cela étant, il avait obtenu une dérogation à la durée maximale des études, qui est de cinq semestres (cf. art. 10 al. 1 dudit règlement), en raison de ses problèmes de santé. Il prétend dans son écriture, sans être contredit par l'intimée, qu'une seconde (et dernière) prolongation d'un semestre pouvait encore lui être accordée (cf. art. 10 al. 4 dudit règlement). Au regard du courrier du 5 juillet 2017 de la Direction de l'Ecole, qui attirait l'attention de l'intéressé sur la nécessité de fournir un nouveau certificat médical si son état de santé ne s'améliorait pas et si celui-ci ne lui permettait pas de présenter son mémoire lors de la session d'août 2017, une telle possibilité paraissait plausible.
2.5. Il découle de ce qui précède que le Tribunal cantonal a appliqué l'art. 89 al. 1 let. b RLUL de façon arbitraire; en ne respectant pas l'injonction prévue par cette disposition, il a violé le droit d'être entendu du recourant.
2.6. Outre que la réparation du droit d'être entendu doit rester l'exception (ATF <ref-ruling> consid. 2.8.1 p. 226), le vice en cause n'a pas pu être réparé devant le Tribunal cantonal, puisque celui-ci a examiné l'affaire sous l'angle de la restitution de délai (art. 19 du règlement de la Maîtrise en droit), respectivement du cas de force majeure, ainsi que de l'octroi d'une grâce. Or, selon le recourant, s'il avait été averti, conformément à l'art. 89 al. 1 let. b RLUL, cela lui aurait permis de requérir une prolongation d'un semestre supplémentaire pour présenter son mémoire en vertu de l'art. 10 al. 4 du règlement de la Maîtrise en droit, disposition qui permet au Décanat d'accorder une telle dérogation à la durée des études.
3.
Au regard de ces éléments, le recours est admis. L'arrêt du 28 mars 2019 du Tribunal cantonal est annulé. La cause est renvoyée à l'Université de Lausanne (<ref-law>), afin qu'elle respecte les exigences de forme prévues à l'art. 89 al. 1 let. b RLUL.
L'intérêt patrimonial de l'intimée n'étant pas en cause, il ne sera pas prélevé de frais judiciaires (art. 66 al. 1 et 4 LTF). Le recourant, qui obtient gain de cause avec l'aide d'un avocat, a droit à des dépens (art. 68 al. 1 et 2 LTF) à charge de l'Université de Lausanne. La cause est renvoyée au Tribunal cantonal, afin qu'il se prononce à nouveau sur les frais et dépens de la procédure qui s'est déroulée devant lui (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et l'arrêt du Tribunal cantonal du 28 mars 2019 est annulé. La cause est renvoyée à l'Université de Lausanne dans le sens des considérants.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 2'000 fr., allouée au recourant à titre de dépens, est mise à la charge de l'Université de Lausanne pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal, afin qu'il se prononce à nouveau sur les frais et dépens de la procédure qui s'est déroulée devant lui.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Université de Lausanne et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 16 septembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon