Faits :
A.
A.a. Le 23 décembre 2015, l'Aéroport International de Genève (ci-après: l'Aéroport) a suspendu la carte d'identité aéroportuaire (aussi appelée CIA; ci-après également: la carte) de A._, employé d'une société de service indépendante de l'Aéroport (ci-après: la société de service) comme bagagiste. Cette carte permettait à l'intéressé d'accéder aux zones sécurisées de l'Aéroport. A la suite du blocage de la carte, la société employeuse de A._ l'a licencié.
A.b. Par décision du 17 mars 2016, l'Aéroport International de Genève (ci-après: l'Aéroport) a retiré la carte d'identité aéroportuaire de A._. L'Aéroport a motivé ce retrait en expliquant que, dans le cadre d'un contrôle, les services de police genevois avaient indiqué posséder des renseignements défavorables au sujet de A._. Ceux-ci entraient en conflit avec les critères du Programme national de sûreté de l'aviation civile (aussi appelé NASP) qui prévalaient pour l'octroi de la carte d'identité aéroportuaire.
A.c. Contre cet acte, A._ a formé, le 20 avril 2016, un recours au Tribunal administratif fédéral. Par arrêt du 21 juillet 2016, celui-ci a déclaré le recours irrecevable. Il a considéré en substance que l'Aéroport n'était pas habilité à rendre des décisions et que partant, comme il n'existait pas de décision attaquable, le Tribunal administratif fédéral était incompétent pour traiter du recours.
A.d. Par arrêt 2C_855/2016 du 31 juillet 2018, le Tribunal fédéral a admis, dans la mesure de sa recevabilité, le recours formé par A._ contre l'arrêt du Tribunal administratif fédéral du 21 juillet 2016, a annulé cet arrêt et renvoyé la cause à cette autorité pour qu'elle entre en matière sur le recours interjeté devant elle et examine le bien-fondé de la décision de retrait du 17 mars 2016. En substance, le Tribunal fédéral a retenu que l'Aéroport disposait d'une compétence décisionnelle en matière de retrait de cartes d'identité aéroportuaires.
B.
Statuant dans le cadre du renvoi, le Tribunal administratif fédéral a, par arrêt du 9 septembre 2019, radié du rôle la cause relative au recours déposé contre la décision du 17 mars 2016. En substance, il a estimé que A._ n'avait pas d'intérêt actuel ou de fait au traitement de son recours, qu'il n'y avait pas lieu de renoncer à l'exigence de l'intérêt actuel et que, faute de qualité pour recourir, le recours devait être déclaré sans objet.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de dépens, de mettre à néant l'arrêt du 9 septembre 2019 du Tribunal administratif fédéral, ainsi que la décision du 17 mars 2016 de l'Aéroport.
Le Tribunal administratif fédéral se réfère à son arrêt. L'Aéroport s'en rapporte à justice quant à la recevabilité du recours et conclut, au fond, sous suite de frais et dépens, à son rejet et à la confirmation de l'arrêt du 9 septembre 2019.

Considérant en droit :
1.
1.1. L'arrêt attaqué est une décision de radiation. Il équivaut à une décision de non-entrée en matière et constitue une décision finale au sens de l'<ref-law>, dès lors qu'il conduit à la clôture définitive de l'affaire, pour un motif tiré des règles de la procédure (cf. arrêt 2C_745/2010 du 31 mai 2011 consid. 1.1, non publié in <ref-ruling>). Rendue par le Tribunal administratif fédéral (<ref-law>), dans une cause de droit public (<ref-law>), la décision entreprise ne tombe sous le coup d'aucune des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc ouverte.
Le recours a en outre été formé en temps utile (<ref-law>) et dans les formes requises (cf. <ref-law>). Le recourant, qui est le destinataire de l'arrêt attaqué, a un intérêt digne de protection à se plaindre que la décision de non-entrée en matière viole le droit fédéral (arrêt 2C_745/2010 du 31 mai 2011 consid. 1.2, non publié in <ref-ruling>) et cela indépendamment et sans préjudice du motif de non-entrée en matière retenu par le Tribunal administratif fédéral, qui constitue l'objet de la contestation devant le Tribunal fédéral (cf. <ref-ruling> consid. 3.1 p. 148). Le recours est donc recevable, sous la réserve qui suit.
1.2. Les conclusions sur le fond ne sont en principe pas admissibles contre une décision de radiation (cf. arrêts 2C_918/2017 du 23 mai 2018 consid. 1.5; 2C_745/2010 du 31 mai 2011 consid. 1.3, non publié in <ref-ruling>). Partant, la conclusion du recourant tendant à l'annulation de la décision du 17 mars 2016 de l'Aéroport est irrecevable.
2.
Le litige porte sur la question de savoir si c'est à bon droit que le Tribunal administratif fédéral a radié du rôle le recours déposé contre la décision du 17 mars 2016 de l'Aéroport retirant au recourant sa carte d'identité aéroportuaire, au motif d'un défaut de qualité pour recourir.
3.
3.1. La qualité pour recourir devant le Tribunal administratif fédéral est régie par l'art. 48 de la loi fédérale du 20 décembre 1968 sur la procédure administrative (PA; RS 172.021), applicable par le renvoi de l'art. 37 de la loi fédérale du 17 juin 2005 sur le Tribunal administratif fédéral (LTAF; RS 173.32).
A teneur de l'<ref-law>, a qualité pour recourir quiconque a pris part à la procédure devant l'autorité inférieure ou a été privé de la possibilité de le faire (let. a), est spécialement atteint par la décision attaquée (let. b), et a un intérêt digne de protection à son annulation ou à sa modification (let. c). L'<ref-law> correspond à l'<ref-law> (<ref-ruling> consid. 2.3 p. 262). L'intérêt digne de protection doit notamment être interprété de la même manière (<ref-ruling> consid. 5.1 p. 512; <ref-ruling> consid. 3.2 p. 332 s.).
3.2. Selon la jurisprudence, l'intérêt digne de protection, au sens de l'art. 89 al. 1 let. c LTF, consiste dans l'utilité pratique que l'admission du recours apporterait à la partie recourante en lui évitant de subir un préjudice de nature économique, idéale, matérielle ou autre que la décision attaquée lui occasionnerait (<ref-ruling> consid. 1.2.2 p. 539; arrêt 2C_1054/2016 du 15 décembre 2017 consid. 2.2, non publié in <ref-ruling>). Cet intérêt doit être direct et concret (<ref-ruling> consid. 5.1 p. 512; <ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2.1.2 p. 164; <ref-ruling> consid. 2.2.2 p. 33; <ref-ruling> consid. 1.2 p. 365). Par ailleurs, la qualité pour recourir suppose un intérêt actuel à obtenir l'annulation ou la modification de la décision attaquée et cet intérêt doit exister tant au moment du dépôt du recours qu'au moment où l'arrêt est rendu (<ref-ruling> consid. 1.3.1 p. 143 [à propos de l'<ref-law>]; <ref-ruling> consid. 4.4 p. 29 s. [à propos de l'<ref-law>]).
Si l'intérêt actuel n'existe plus au moment du dépôt du recours, celui-ci est déclaré irrecevable. Lorsque cet intérêt disparaît durant la procédure, la cause est radiée du rôle comme devenue sans objet (<ref-ruling> consid. 1.3.1 p. 143 et les arrêts cités).
Un intérêt actuel et pratique fait en particulier défaut lorsque l'acte de l'autorité a été exécuté ou a perdu son objet (cf. <ref-ruling> consid. 5b p. 97; <ref-ruling> consid. 1a p. 166; cf., lorsqu'une privation de liberté prend fin pendant la procédure: <ref-ruling> consid. 4.2 p. 299), ou encore lorsque l'admission du recours ne permettrait pas la réparation du préjudice subi (cf. <ref-ruling> consid. 2b p. 42; <ref-ruling> consid. 1a p. 490; <ref-ruling> consid. 6 p. 729).
3.3. La jurisprudence renonce exceptionnellement à l'exigence d'un intérêt actuel lorsque la contestation peut se reproduire en tout temps dans des circonstances identiques ou analogues, que sa nature ne permet pas de la trancher avant qu'elle ne perde son actualité et que, en raison de sa portée de principe, il existe un intérêt public suffisamment important à la solution de la question litigieuse (cf. <ref-ruling> consid. 1.3.1 p. 143; <ref-ruling> consid. 1.1 p. 208; <ref-ruling> consid. 1.1 p. 103; <ref-ruling> consid. 1.2 p. 674).
4.
Le Tribunal administratif fédéral a rayé du rôle la cause sur la base de la motivation suivante.
Premièrement, il a estimé que le recourant n'avait pas d'intérêt actuel ou de fait au traitement de son recours. Sur ce point, les précédents juges ont relevé qu'une restitution de la carte d'identité aéroportuaire n'aurait pas pour effet de rétablir la relation d'emploi du recourant, que celui-ci était peu qualifié et pouvait donc travailler ailleurs qu'à l'Aéroport et, enfin, que l'intéressé n'avait pas allégué avoir une demande en cours auprès de son employeur pour effectuer une mission requérant l'octroi d'une carte d'identité aéroportuaire, mais que, le cas échéant, il pourrait formuler une nouvelle demande de carte d'identité aéroportuaire et en contester l'éventuel refus. Le Tribunal administratif fédéral a par ailleurs refusé un intérêt actuel au recours en lien avec une éventuelle atteinte à la personnalité.
Deuxièmement, le Tribunal administratif fédéral a retenu que la nature du retrait des cartes d'identité aéroportuaires permettait de soumettre la question aux autorités de recours successives avant qu'elle ne perde son actualité, de sorte qu'il n'y avait pas lieu d'appliquer la clause d'exception.
Troisièmement, les précédents juges ont encore ajouté, pour justifier la non-entrée en matière, que l'Aéroport n'avait pas établi les faits avant de rendre sa décision du 17 mars 2016 et n'avait pas motivé celle-ci, violant ainsi le droit d'être entendu du recourant. Or, selon le Tribunal administratif fédéral, cette violation était tellement lourde qu'elle n'aurait pas pu être guérie devant l'instance de recours et aurait nécessité un renvoi de la cause à l'Aéroport. La conséquence aurait été que l'état de fait établi aurait été celui prévalant aujourd'hui et non celui existant au moment du retrait, de sorte qu'il relèverait de l'hypothèse d'estimer que la décision serait différente actuellement de celle prise en décembre 2015, respectivement mars 2016.
5.
Le raisonnement du Tribunal administratif fédéral et sa conclusion de rayer la cause du rôle ne peuvent être suivis, comme le fait valoir le recourant.
5.1. En effet, on ne peut pas affirmer que le recourant n'a pas d'intérêt actuel et pratique à recourir contre le retrait de sa carte d'identité aéroportuaire.
Certes, la seule restitution de la carte en cas d'admission du recours ne permettrait pas au recourant de retrouver directement son emploi. Il est aussi vrai que, contrairement à ce que prétend le recourant, le fait qu'il envisage une action en responsabilité contre l'Aéroport ne crée pas d'intérêt actuel au traitement du recours dirigé contre la décision de retrait, étant précisé que le recourant n'invoque aucune disposition qui lui donnerait le droit à un constat d'illicéité (cf., par ex., dans le domaine des marchés publics, art. 9 al. 3 de la loi fédérale du 6 octobre 1995 sur le marché intérieur [LMI; RS 943.02]; cf. <ref-ruling> consid. 1.3.2 p. 361; cf., sur la relation entre l'action en responsabilité et l'intérêt actuel: arrêts 2C_602/2018 du 16 septembre 2019 consid. 1.2.3; 8C_596/2017 du 1er mars 2018 consid. 5.3.4; 2C_871/2015 du 11 février 2016 consid. 2.5.5; 2A.288/2006 du 28 août 2006 consid. 3.1.1).
Le recourant dispose toutefois d'un intérêt pratique et juridique à faire contrôler le bien-fondé de la décision de retrait de sa carte d'identité aéroportuaire. En effet, d'une part, il paraît improbable qu'un employeur confie une mission à l'Aéroport requérant l'accès aux zones sécurisées à une personne qui s'est vu retirer sa carte d'identité aéroportuaire (cf. arrêt 2C_18/2020 du 16 mars 2020 consid. 4.3). D'autre part, on ne saurait nier l'intérêt actuel au recours en se fondant, ainsi que l'a fait le Tribunal administratif fédéral, sur l'éventualité pour le recourant de requérir une nouvelle carte d'identité aéroportuaire en cas de nouvel engagement et la possibilité de contester l'éventuel refus de lui délivrer cette carte le cas échéant. En effet, on ignore tout des conséquences que le retrait initial contesté pourrait déployer sur une nouvelle demande de carte d'identité aéroportuaire. Or, il n'est de loin pas exclu que le retrait prononcé en 2016 empêche l'octroi d'une nouvelle carte d'identité aéroportuaire. A cela s'ajoute que, tant que le présent litige est en cours, il n'est pas évident que l'Aéroport rende une nouvelle décision relative à une carte d'identité aéroportuaire concernant le recourant. Dans ces conditions et en l'absence d'autres indications dans l'arrêt entrepris, il apparaît que le recourant, empêché d'exercer une activité à l'Aéroport et limité dans ses perspectives d'emploi, a un intérêt actuel et pratique à recourir contre le retrait de sa carte d'identité aéroportuaire.
5.2. Il sera ajouté en l'espèce que, même si l'on admettait l'absence d'intérêt actuel au recours, l'arrêt entrepris ne pourrait de toute manière pas être confirmé, car il faudrait dans ce cas retenir que les conditions pour renoncer à l'exigence de l'intérêt actuel sont réunies.
5.2.1. Tout d'abord, une contestation relative au retrait ou au refus de la carte d'identité aéroportuaire peut se reproduire en tout temps. La première condition pour renoncer à l'exigence d'un intérêt actuel est donc réalisée.
5.2.2. Ensuite, si l'on suit le Tribunal administratif fédéral, qui justifie l'absence d'intérêt actuel par le fait que le recourant a de toute façon perdu son emploi, cet intérêt aurait d'emblée été inexistant, puisqu'au moment du dépôt du recours en 2016, le recourant avait déjà été licencié. On se trouve donc dans une situation où la nature de la contestation ne permet pas de la soumettre aux autorités successives avant qu'elle ne perde son actualité. L'arrêt attaqué affirme l'inverse, mais sans aucune motivation et de manière contradictoire avec son argumentation sur la perte de l'intérêt actuel.
La deuxième condition pour renoncer à l'exigence de l'intérêt actuel est partant aussi réalisée.
Sur ce point, on ne peut du reste que s'étonner que les précédents juges n'aient pas déclaré le recours irrecevable, plutôt que de rayer la cause du rôle, l'intérêt actuel faisant d'emblée défaut selon leur raisonnement, puisque le recourant a immédiatement perdu son emploi.
5.2.3. Enfin, la troisième condition, selon laquelle il doit exister un intérêt public suffisamment important (cf. supra consid. 3.3), est aussi remplie, à deux égards.
D'une part, la décision de l'Aéroport de retirer la carte d'identité aéroportuaire a des répercussions graves, dès lors qu'elle fait de facto perdre la possibilité à la personne concernée d'exercer son activité professionnelle sur le site sécurisé de l'Aéroport. La question soulevée au fond par le litige, à savoir celle des conditions dans lesquelles l'Aéroport peut retirer, avec effet immédiat, la carte d'identité aéroportuaire, qui n'a en outre pas encore fait l'objet de jurisprudence et est susceptible de concerner un grand nombre de personnes, revêt partant une portée de principe, qui justifie l'entrée en matière.
D'autre part, l'intérêt public existe également en lien avec l'argumentation au fond développée par le Tribunal administratif fédéral. En effet, celui-ci souligne que l'Aéroport aurait violé le droit d'être entendu du recourant en n'établissant pas les faits avant de statuer et en ne pouvant, de ce fait, motiver sa décision autrement que par des considérations générales et abstraites. Il ajoute que " ces violations du droit d'être entendu par le concessionnaire sont tellement lourdes qu'elles n'auraient pas pu être guéries devant l'autorité de recours ". Or, il est pour le moins surprenant de déclarer un recours sans objet, faute d'intérêt actuel, tout en laissant entendre non seulement que ledit recours aurait dû être admis en raison de graves violations du droit d'être entendu, mais encore qu'il porte sur une décision dont les juges précédents n'ont pas été en mesure de comprendre la portée au vu de sa motivation.
5.3. Il résulte de ce qui précède que c'est à tort que le Tribunal administratif fédéral a radié du rôle la cause relative au recours déposé contre la décision de retrait de la carte d'identité aéroportuaire.
6.
6.1. Les considérants qui précèdent entraînent l'admission du recours, dans la mesure de sa recevabilité, sans qu'il soit nécessaire d'examiner les autres griefs du recourant. Il convient d'annuler l'arrêt attaqué et de renvoyer la cause à l'autorité précédente, pour qu'elle entre en matière et traite le recours dont elle était saisie au fond (cf. <ref-law>; cf. <ref-ruling> consid. 1.2 p. 48 [irrecevabilité]).
6.2. Dans la mesure où il n'y avait pas de circonstances justifiant la non-entrée en matière sur le recours, le Tribunal administratif fédéral a, en rendant l'arrêt querellé, méconnu l'arrêt de renvoi du Tribunal fédéral 2C_855/2016 du 31 juillet 2018 qui lui imposait d'entrer en matière et de traiter le recours dirigé contre la décision de retrait du 17 mars 2016. Dans ces conditions, il se justifie de mettre les dépens à sa charge (cf. arrêt 5A_131/2019 du 18 avril 2019 consid. 4). Le Tribunal administratif fédéral ne supportera en revanche pas de frais judiciaires, dès lors qu'il n'en aurait de toute façon pas été exigé de la part de l'Aéroport, qui agit dans l'exercice de ses fonctions officielles (cf. <ref-law>; arrêt 2C_855/2016 du 31 juillet 2018 consid. 11).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis dans la mesure où il est recevable. L'arrêt du Tribunal administratif fédéral du 9 septembre 2019 est annulé. La cause est renvoyée à cette autorité pour qu'elle entre en matière sur le recours interjeté devant elle et examine le bien-fondé de la décision de retrait du 17 mars 2016.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le Tribunal administratif fédéral versera au recourant la somme de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué au mandataire du recourant, à l'Aéroport de Genève, au Tribunal administratif fédéral, Cour I, à l'Office fédéral de l'aviation civile et au Département fédéral de l'environnement, des transports, de l'énergie et de la communication.
Lausanne, le 14 avril 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber