Faits : A. A.a. A._ est inscrit à la Faculté de droit, des sciences criminelles et d'administration publique de l'Université de Lausanne (ci-après : la Faculté), depuis l'année académique 2014-2015, en vue de l'obtention d'une Maîtrise en droit, criminalité et sécurité des technologies de l'information. En janvier 2017, il a réussi ses derniers examens, obtenant la moyenne de 4,8 aux enseignements obligatoires et la moyenne de 4,9 aux enseignements optionnels, mention intelligence économique. Il devait encore soutenir son mémoire. Le 6 janvier 2017, A._ a pris contact avec le Service de consultation psychothérapeutique de l'EPFL et de l'UNIL. N'ayant aucune disponibilité, ledit service lui a conseillé de prendre rendez-vous avec son généraliste ou de se rendre aux urgences. Un jury a refusé le mémoire de l'intéressé, en date du 13 janvier 2017. Le 5 février 2017, une dérogation à la durée maximale des études a été accordée à A._, qui s'est vu octroyer un semestre supplémentaire pour soutenir son mémoire en seconde tentative durant la session de juin 2017. A._ a été hospitalisé en urgence du 16 au 17 février 2017, à la suite d'une morsure de chat. Deux jours plus tard, le 19 février 2017, son grand-père est décédé. L'intéressé a, à nouveau, été hospitalisé en urgence du 15 au 16 juin 2017: il a alors entamé un traitement auprès du Centre ambulatoire de psychiatrie et de psychothérapie intégrée des Eaux-Vives (ci-après: le Centre de psychiatrie). Le 16 juin 2017, A._ a annoncé son retrait de la soutenance de son mémoire fixée au 29 juillet 2017, pour cause de maladie. Outre un certificat médical du 16 juin 2017 du Service des urgences des Hôpitaux Universitaires de Genève mentionnant un arrêt de travail pour maladie à 100 % du 16 au 17 juin 2017, il a produit un certificat médical du 29 juin 2017 attestant d'un suivi auprès du Centre de psychiatrie, depuis le 19 juin 2017, en raison d'une symptomatologie anxio-dépressive et d'un dysfonctionnement majeur dans la gestion de ses affaires. Le 5 juillet 2017, la Direction de l'Ecole de droit a informé A._ qu'elle acceptait sa demande de retrait pour la soutenance de son mémoire. L'attention de celui-ci a été attirée sur le fait qu'il lui appartenait de prendre contact avec son directeur de mémoire, afin de convenir d'une nouvelle date de soutenance au cours de la prochaine session d'examens débutant le 21 août 2017 et que, si son état de santé ne lui permettait pas de se présenter à cette session, un nouveau certificat médical devrait être fourni dans les meilleurs délais. La grand-mère de A._ a été hospitalisée, à la suite d'une embolie pulmonaire le 8 juillet 2017; elle est décédée le 14 juillet suivant. L'intéressé a été hospitalisé en urgence du 31 juillet au 1 er août 2017 pour une nouvelle morsure. A._ n'a pas soutenu son mémoire durant la session d'examens d'août 2017. En conséquence, par décision du 21 septembre 2017, la Direction de l'Ecole de droit lui a signifié son échec définitif à la Maîtrise universitaire en droit, criminalité et sécurité des technologies de l'information et, partant, son exclusion de la Faculté. Cette décision était motivée par l'absence de la soutenance du mémoire dans les délais requis et par le dépassement de la durée maximale des études. A.b. Par décision du 7 décembre 2017, la Commission de recours de l'Ecole de droit a refusé la " demande de grâce " déposée par A._. La Direction de l'UNIL a fait de même en date du 5 mars 2018. B. Par arrêt du 28 mars 2019, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de A._ à l'encontre de la décision du 5 mars 2018 de la Direction de l'UNIL. Elle a en substance jugé qu'en tant que la Direction de l'Ecole de droit n'avait pas interpellé l'intéressé avant de prononcer son échec définitif, compte tenu des circonstances, le droit d'être entendu de celui-ci n'avait pas été violé; les conditions pour la restitution d'un délai pour la présentation du mémoire n'étaient pas remplies; la situation de A._ ne revêtait pas non plus un caractère exceptionnel qui eut justifié l'octroi d'une grâce. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de dire qu'il sera réintégré dans la Faculté et qu'il bénéficiera d'un délai supplémentaire pour présenter sa soutenance de mémoire. L'UNIL a renoncé à déposer des observations. Le Tribunal cantonal se réfère aux considérants de l'arrêt attaqué.