Faits :
A.
A.a. A._, né en 1966, a été employé par l'École polytechnique fédérale de Lausanne (ci-après: l'EPFL) dès le 15 janvier 2011 comme collaborateur scientifique, puis dès le 1 er mars 2015 comme spécialiste système auprès de l'unité "B._", rattachée à la vice-présidence pour les systèmes d'information (VPSI) de l'EPFL. Le 25 novembre 2016, il a reçu un avertissement formel avant licenciement en raison de son attitude envers sa hiérarchie et ses collègues et pour des manquements aux tâches imparties par son cahier des charges.
A.b. Le 29 novembre 2016 vers 12h30, A._ a été informé de ce qu'un de ses subordonnés, C._, détenait une arme à feu chargée (arme de poing xxx) dans son bureau. Il a rencontré son subordonné vers 13h10, a discuté avec lui et l'a renvoyé à la maison. Par courriel envoyé à 20h40, il a informé une médiatrice de l'EPFL de cet événement. Le 30 novembre 2016, C._, de nouveau en possession d'une arme à feu, a été interpellé par le service de sécurité (Domaine sécurité, prévention et santé; DSPS) à son arrivée à l'EPFL. Par courriel du même jour à 11h03, A._ a informé son supérieur et les deux autres chefs de service dépendants du VPSI du fait que son subordonné était venu au travail la veille avec une arme à feu. Le 1 er décembre 2016 à 12h16, il a, en l'absence de réaction de la médiatrice, transféré le courriel envoyé précédemment à celle-ci à la secrétaire générale de l'EPFL.
A.c. Le 5 décembre 2016, l'EPFL a suspendu les rapports de travail de A._ et lui a remis un projet de résiliation immédiate des rapports de travail en lui octroyant un délai de dix jours pour se déterminer. Par acte du 15 décembre 2016, l'intéressé a exercé son droit d'être entendu et s'est opposé à la résiliation immédiate des rapports de travail. Le même jour, C._ est décédé. Par décision du 28 décembre 2016, l'EPFL a résilié les rapports de travail de A._ avec effet immédiat.
A.d. Saisie d'un recours contre cette décision, la Commission de recours interne des EPF (CRIEPF) l'a admis par décision du 28 août 2018; elle a modifié la résiliation immédiate des rapports de travail en une résiliation ordinaire - arrêtant la date de fin des rapports de travail au 30 avril 2017 - et a ordonné le versement du salaire jusqu'à l'échéance du délai de résiliation ainsi que le paiement de diverses indemnités correspondant à un total de vingt-trois mois de salaire.
B.
Par arrêt du 12 février 2020, le Tribunal administratif fédéral, considérant que la résiliation immédiate des rapports de travail par l'employeur était justifiée, a admis le recours formé par l'EPFL contre la décision de la CRIEPF, qu'il a annulée.
C.
A._ interjette un recours en matière de droit public contre cet arrêt, en concluant principalement à sa réforme dans le sens de la confirmation de la décision de la CRIEPF du 28 août 2018; à titre subsidiaire, il conclut à l'annulation de l'arrêt entrepris, la cause étant renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
L'intimée conclut au rejet du recours. L'autorité précédente se réfère à son arrêt. Le recourant a répliqué.

Considérant en droit :
1.
L'arrêt entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation porte sur la fin de ces rapports, il s'agit d'une contestation pécuniaire (arrêt 8C_448/2012 du 17 janvier 2013, consid. 1.1 non publié à l'<ref-ruling>), de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. La valeur litigieuse atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF). Interjeté en temps utile (<ref-law>) et dans les formes requises (<ref-law>) contre une décision finale (<ref-law>) prise par le Tribunal administratif fédéral (<ref-law>), le recours est dès lors recevable.
2.
2.1. Le Tribunal fédéral, qui est un juge du droit, fonde son raisonnement juridique sur les faits retenus par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2 p. 190) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>); à défaut, un état de fait divergent de celui de la décision attaquée ne peut pas être pris en compte (<ref-ruling> consid. 2 précité; <ref-ruling> consid. 5.2.2 p. 322).
2.2. En l'espèce, le recourant affirme que l'autorité précédente "semble vouloir baser sa décision sur un état de fait extrêmement succinct, au point qu'il [serait] incomplet voire erroné". Il se contente toutefois de donner deux "exemples" de ce caractère prétendument incomplet, à savoir que l'arrêt attaqué ne mentionnerait ni qu'il avait contesté l'avertissement formel reçu le 25 novembre 2016, ni que la médiatrice était déjà informée de la situation problématique de son subordonné C._. Ce faisant, le recourant ne démontre nullement que l'autorité précédente - qui a bel et bien retenu que le recourant avait contesté le 4 décembre 2016 les faits reprochés dans l'avertissement du 25 novembre 2016 et requis l'annulation de celui-ci - aurait arbitrairement omis de constater des faits pertinents pour l'issue du litige. C'est donc sur la base des faits retenus par l'autorité précédente qu'il y a lieu d'examiner la cause en droit, conformément à l'<ref-law>.
2.3. On rappellera à cet égard que le Tribunal fédéral applique le droit d'office (<ref-law>) et n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente (<ref-ruling> consid. 1 p. 236; <ref-ruling> consid. 1.3 p. 336; <ref-ruling> consid. 1.2 p. 252). Cependant, compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 1.2 p. 175 et les références). Il n'est pas tenu de traiter, comme le ferait un juge de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1 p. 236; <ref-ruling> consid. 2 p. 89; 115 consid. 2 p. 116).
3.
Le Tribunal administratif fédéral a retenu que si les faits précédant les événements des 29 et 30 novembre 2016 ne fondaient pas la résiliation immédiate des rapports de travail - l'employeur n'ayant invoqué comme juste motif de résiliation immédiate que le comportement de l'employé les 29 et 30 novembre 2016 -, on ne pouvait néanmoins pas faire abstraction, vu la maxime d'office, du contexte dans lequel lesdits événements s'étaient déroulés. Déjà à ce moment-là, la relation professionnelle entre l'employé et son employeur n'était pas bonne, le premier ayant reçu le 25 novembre 2016 un avertissement formel avant licenciement, par lequel le second lui ordonnait de faire preuve de plus de respect envers sa hiérarchie et lui fixait un délai pour se déterminer sur cet avertissement. S'il ne pouvait pas être exclu que cet avertissement ne fût pas fondé et constituât l'expression de l'inadéquation du supérieur hiérarchique, il n'en restait pas moins que le 29 novembre 2016, le rapport de confiance entre l'employeur et l'employé était de part et d'autre déjà bien entamé. L'employé ne pouvait pas ignorer que ses faits et gestes étaient examinés avec une attention toute particulière par son employeur à la fin du mois de novembre 2016.
Toujours selon le Tribunal administratif fédéral, s'il était permis de se demander si l'employé avait correctement agi en prenant sur lui de régler la situation du 29 novembre 2016, le choix du dialogue semblait néanmoins avoir été le bon, en l'absence de signe d'agressivité ou de volonté exprimée de passage à l'acte de feu son subordonné. A tout le moins le résultat, à savoir que feu le subordonné avait quitté le campus avec l'arme à feu, tendait à démontrer que l'employé était parvenu à gérer la situation sur son lieu de travail. Toutefois, après avoir paré au plus pressé, l'employé n'avait aucune raison de ne pas informer son supérieur direct, d'autant moins qu'il avait fini par le faire par courriel envoyé le 30 novembre 2016 à 11h03, soit après que l'information avait déjà circulé au sein de l'institution. Or l'employé n'avait pas informé l'EPFL ou à tout le moins pas les bonnes personnes le 29 novembre 2016 et, au surplus, il l'avait fait dans un délai inadmissible. En effet, alors qu'il avait de son propre aveu eu connaissance de la présence de l'arme chargée le 29 novembre 2016 à 12h30 au plus tard et qu'il avait clairement conscience de la gravité de la situation, ce n'était qu'à 20h40 qu'il avait informé une médiatrice, soit une personne qui n'était fonctionnellement pas compétente pour gérer de telles urgences. En annonçant tardivement ces événements, au surplus uniquement à une médiatrice tard dans la soirée, l'employé - malgré sa conscience de l'urgence de la situation et le fait qu'il se savait dans le viseur de son employeur - avait commis une faute grave, violant gravement son devoir de diligence et de fidélité, ce qui fondait un juste motif de résiliation immédiate des rapports de travail.
4.
4.1. Le recourant reproche d'abord à l'autorité précédente d'avoir violé le droit en retenant qu'il avait commis une faute grave justifiant la résiliation immédiate des rapports de travail. Selon lui, la motivation de l'arrêt entrepris serait contradictoire en tant qu'elle retient à la fois que l'avertissement formel du 25 novembre 2016 n'avait pas à être pris en compte comme motif de résiliation immédiate et qu'en raison de cet avertissement, l'employé ne pouvait pas ignorer que ses faits et gestes étaient examinés avec une attention toute particulière par son employeur à la fin du mois de novembre 2016. Il serait également contradictoire d'admettre que, s'agissant du déroulement des événements du 29 novembre 2016, le choix du recourant de dialoguer avec son subordonné semblait avoir été le bon et de néanmoins retenir en fin du compte qu'il avait commis une faute grave.
Ces griefs sont dénués de fondement. En effet, le constat que l'avertissement formel du 25 novembre 2016 n'était pas invoqué par l'employeur comme juste motif de résiliation immédiate n'implique pas qu'il faille faire abstraction de cet élément dans l'appréciation du contexte dans lequel se sont déroulés les événements des 29 et 30 novembre 2016 qui ont motivé le licenciement immédiat. Par ailleurs, ce n'est pas la manière dont le recourant a géré la situation sur le moment en dialoguant avec son subordonné et en le renvoyant à la maison qui lui a été reproché, mais bien le fait de ne pas avoir ensuite rapidement averti son supérieur direct voire les services de sécurité de l'incident, alors qu'il avait conscience de la gravité et de l'urgence de la situation. En considérant que le recourant avait ce faisant gravement et fautivement manqué à son devoir de diligence et de fidélité et que cela constituait un juste motif de résiliation immédiate des rapports de travail selon l'art. 10 al. 4 LPers (loi sur le personnel de la Confédération; RS 172.200.1), l'autorité précédente n'a pas violé le droit fédéral (voir, sur l'application de l'art. 10 al. 4 LPers, l'arrêt 8C_468/2019 du 28 février 2020 consid. 4.1 et les références).
4.2.
4.2.1. Le recourant reproche ensuite au Tribunal administratif fédéral de n'avoir pas retenu que l'EPFL avait violé son devoir de célérité pour prendre une décision et que le licenciement immédiat était ainsi intervenu tardivement.
4.2.2. En droit privé du travail, la jurisprudence considère que la partie qui résilie un contrat de travail en invoquant de justes motifs ne dispose que d'un court délai de réflexion pour signifier la rupture immédiate des relations de travail, sous peine de déchéance; si elle tarde à agir, elle donne à penser qu'elle a renoncé à la résiliation immédiate, respectivement qu'elle peut s'accommoder de la continuation des rapports de travail jusqu'à l'échéance ordinaire du contrat (<ref-ruling> consid. 6.3.1 p. 116; <ref-ruling> consid. 4.4 p. 34; <ref-ruling> consid. 2a p. 87). Les circonstances du cas concret déterminent le laps de temps dans lequel on peut raisonnablement attendre de la partie qu'elle prenne la décision de résilier le contrat immédiatement; de manière générale, la jurisprudence considère qu'un délai de réflexion de deux à trois jours ouvrables est suffisant pour réfléchir et prendre des renseignements juridiques, étant précisé que les week-ends et les jours fériés ne sont pas pris en considération (<ref-ruling> consid. 6.3.2 p. 116). Un délai supplémentaire est toléré s'il se justifie par les exigences pratiques de la vie quotidienne et économique; on peut ainsi admettre une prolongation de quelques jours lorsque la décision doit être prise par un organe polycéphale au sein d'une personne morale, ou lorsqu'il faut entendre le représentant de l'employé (<ref-ruling> consid. 6.3.2 p. 116; <ref-ruling> consid. 4.4 p. 34; consid. 4.1 non publié de l'<ref-ruling> et les références; arrêt 4A_610/2018 du 29 août 2019 consid. 4.2.2.1).
4.2.3. Ces principes jurisprudentiels, développés au regard de l'<ref-law>, ne sont pas sans autre transposables aux rapports de travail de droit public. En ce domaine, le licenciement se fait en général par voie de décision motivée (cf. art. 34 al. 1 LPers), et il est souvent précédé d'une enquête, en particulier quand il s'agit d'étayer ou d'infirmer des soupçons. L'intéressé bénéficie en outre des garanties propres à la procédure administrative, en particulier du droit d'être entendu (cf. arrêt 8C_465/2018 du 6 mai 2019 consid. 5.2 et les références citées). Enfin, indépendamment de ces garanties, les contingences liées aux procédures internes d'une administration ne permettent souvent pas de prendre une décision immédiate, surtout lorsque la décision ne peut pas être prise par le supérieur hiérarchique direct, mais dépend de l'autorité d'engagement ou d'une autorité de surveillance (<ref-ruling> consid. 6.4.1 et les références). Des motifs objectifs (droit d'être entendu, spécificités de la procédure administrative) peuvent ainsi justifier selon les cas d'accorder à l'employeur de droit public un délai de réaction plus long qu'en droit privé, mais celui-ci ne doit pas pour autant laisser traîner les choses (<ref-ruling> consid. 6.5; arrêts 8C_465/2018 précité; 8C_281/2017 du 26 janvier 2018 consid. 5.4.2; 8C_141/2011 du 9 mars 2012 consid. 5.5).
4.2.4. En l'espèce, il ressort des constatations de fait de l'autorité précédente que le recourant, auquel l'intimée avait le 5 décembre 2016 octroyé un délai de dix jours pour se déterminer sur un projet de résiliation immédiate des rapports de travail, a exercé son droit d'être entendu par acte du 15 décembre 2016, parvenu à l'intimée le vendredi 16 décembre 2016; la décision de résiliation immédiate des rapports de travail, datée du 28 décembre 2016, a été expédiée le 5 janvier 2017. Relevant que les 17, 18, 24, 25, 26 et 31 décembre 2016, de même que les 1 eret 2 janvier 2017, étaient des jours fériés et/ou de week-end, l'autorité précédente a estimé que l'employeur avait respecté son devoir de célérité.
L'appréciation de l'autorité précédente ne saurait être suivie. L'employeur, qui avait rédigé et remis à l'employé un projet de résiliation des rapports de travail le 5 décembre 2016, soit cinq jours après les faits invoqués à l'appui de la résiliation envisagée, a reçu les déterminations de l'employé le vendredi 16 décembre 2016. Or ce n'est que 7 jours ouvrables (19, 20, 21, 22, 23, 27 et 28 décembre) plus tard qu'il a prononcé sa décision du 28 décembre 2016, laquelle n'a au surplus été expédiée que le 5 janvier 2017, soit encore 5 jours ouvrables (29 et 30 décembre, 3, 4 et 5 janvier) plus tard. Au final, il s'est ainsi écoulé largement plus d'un mois entre la connaissance par l'employeur des faits ayant motivé la décision de licenciement immédiat (30 novembre 2016) et la réception de celle-ci par l'employé (6 janvier 2017). Dès lors que l'intimée n'a fait valoir aucun motif objectif de nature à expliquer la signification tardive de la rupture des rapports de travail avec effet immédiat, la résiliation fondée sur l'art. 10 al. 4 LPers apparaît tardive et ne saurait être confirmée.
4.3. Il suit de là que c'est à tort que le Tribunal administratif fédéral a annulé la décision de la CRIEPF en tant qu'elle a modifié la résiliation immédiate des rapports de travail en une résiliation ordinaire. La CRIEPF avait alloué à l'employé une indemnité correspondant à une année de salaire pour résiliation immédiate en l'absence de justes motifs (art. 34b al. 1 let. a LPers), une indemnité correspondant à neuf mois de salaire pour résiliation abusive (art. 34c al. 1 let. c et al. 2 LPers) ainsi qu'une indemnité correspondant à deux mois de salaire sur la base de l'art. 19 al. 3 let. b LPers. Devant le Tribunal administratif fédéral, l'EPFL avait conclu principalement à l'annulation de la décision de la CRIEPF et subsidiairement à la réduction des indemnités accordées à l'employé. Il convient dès lors d'annuler l'arrêt entrepris et de renvoyer la cause au Tribunal administratif fédéral pour qu'il statue à nouveau sur les indemnités réclamées.
5.
L'intimée, qui succombe, supportera les frais judiciaires (<ref-law>) et versera au recourant une indemnité à titre de dépens (art. 68 al. 1 et 2 LTF)

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et la décision de la Cour I du Tribunal administratif fédéral du 12 février 2020 est annulée. La cause est renvoyée à l'autorité précédente pour nouvelle décision.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant la somme de 2800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, à la Cour I du Tribunal administratif fédéral et à la Commission de recours interne des Ecoles polytechniques fédérales.
Lucerne, le 17 août 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl