Faits :
A.
Par acte du 17 mars 2016 qualifié de décision, l'Aéroport International de Genève (ci-après : l'Aéroport) a retiré la carte d'identité aéroportuaire (également appelée CIA) de A._, employé d'une société de service indépendante de l'Aéroport. Cette carte permettait à l'intéressé d'accéder aux zones sécurisées situées sur le site. L'Aéroport a motivé ce retrait en expliquant que, dans le cadre d'un contrôle, les services de police genevois avaient indiqué posséder des renseignements défavorables au sujet de A._. Ceux-ci entraient en conflit avec les critères du Programme national de sûreté de l'aviation civile (aussi appelé NASP) qui prévalaient pour l'octroi de la carte d'identité aéroportuaire. Une voie de recours auprès du Tribunal administratif fédéral était mentionnée au terme de cet acte.
B.
Statuant sur recours de A._, le Tribunal administratif fédéral, par arrêt du 21 juillet 2016, a déclaré celui-ci irrecevable. Il a considéré en substance que l'Aéroport n'était pas habilité à rendre des décisions et que partant, comme il n'existait pas de décision attaquable, le Tribunal administratif fédéral était incompétent pour traiter du recours.
C.
A l'encontre de l'arrêt du 21 juillet 2016, A._ forme un recours en matière de droit public au Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué et à celle de la décision adoptée le 17 mars 2016 par l'Aéroport. Il demande également que Me Pierre Bayenet soit désigné rétroactivement en qualité de conseil pour la procédure devant le Tribunal administratif fédéral et à ce que celui-ci soit indemnisé pour l'activité déployée, avec suite de frais et dépens devant les deux instances.
Dans sa réponse, l'Aéroport s'en rapporte à justice quant à la recevabilité du recours au Tribunal fédéral et à l'instance compétente pour connaître du recours contre sa décision du 17 mars 2016, tout en demandant à ce que A._ soit débouté de toutes autres ou contraires conclusions. A titre subsidiaire, il demande le renvoi de la cause à l'instance compétente pour une instruction au fond.
Le Département fédéral de l'environnement, des transports, de l'énergie et de la communication (ci-après : le Département fédéral) a renvoyé aux observations de l'Office fédéral de l'aviation civile (ci-après : l'Office fédéral). Ce dernier a déclaré renoncer à présenter des conclusions, tout en soulignant qu'à son avis, l'arrêt du Tribunal administratif fédéral ne souffrait d'aucune discussion.
L'Aéroport a formé des observations au sujet de la prise de position de l'Office fédéral pour confirmer les fondements de sa compétence décisionnelle.

Considérant en droit :
1.
1.1. Relevant du droit public (<ref-law>), l'arrêt attaqué constitue une décision finale (<ref-law>), rendue par le Tribunal administratif fédéral (<ref-law>), de sorte que la voie du recours en matière de droit public est en principe ouverte, aucune des exceptions de l'<ref-law> n'étant réalisée. Formé en temps utile compte tenu des féries (art. 46 al. 1 let. b et 100 al. 1 LTF) et dans les formes requises (cf. <ref-law>), par la personne qui se voit privée de la possibilité de s'adresser au Tribunal administratif fédéral pour contester le retrait de sa carte d'identité aéroportuaire, et qui remplit partant les conditions de l'<ref-law>, le recours est en principe recevable, sous réserve de ce qui suit.
1.2. A l'encontre d'un arrêt d'irrecevabilité, l'objet du litige devant le Tribunal fédéral se limite au point de savoir si l'autorité précédente a à juste titre refusé d'entrer en matière. Si tel n'est pas le cas, le recours devra lui être renvoyé pour qu'elle statue sur le fond (<ref-ruling> consid. 1.2 p. 41). Les conclusions concernant le fond ne sont partant pas admissibles.
En l'occurrence, le recourant ne prend formellement que des conclusions cassatoires. Les conclusions doivent toutefois être interprétées selon le principe de la confiance, à la lumière de la motivation du recours (<ref-ruling> consid. 1 p. 102 s.; arrêt 8C_148/2016 du 23 janvier 2017 consid. 3.3). Or, il découle expressément du mémoire de recours que le recourant demande, si la Cour de céans devait parvenir à la conclusion que l'Aéroport était compétent pour adopter une décision, qu'elle renvoie la cause au Tribunal administratif fédéral, voire, le cas échéant, à une autorité cantonale compétente. Dans cette mesure, les conclusions sont recevables. En revanche, la conclusion portant sur l'annulation de la décision de l'Aéroport du 17 mars 2016 est irrecevable, car relevant du fond. Il en va de même de la conclusion tendant à la désignation rétroactive de Me Pierre Bayenet en qualité de conseil du recourant devant l'autorité précédente, dès lors que cette conclusion est dépourvue de toute motivation et que l'arrêt attaqué mentionne cet avocat en tant que représentant du recourant.
1.3. L'intimé ne peut formuler de recours joint (<ref-ruling> consid. 2.1 p. 110). Par conséquent, ses conclusions subsidiaires tendant au renvoi de la cause à l'instance compétente pour une instruction au fond ne sont pas admissibles. En revanche, rien n'empêche la partie intimée d'appuyer partiellement, au travers de son argumentation juridique et de critiques contre l'arrêt attaqué, la position soutenue par le recourant.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral et du droit international (cf. art. 95 let. a et b, en lien avec 106 al. 1 LTF); l'examen de la violation des droits de nature constitutionnelle est quant à lui subordonné à des exigences de motivation accrues figurant à l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine les droits fondamentaux que si le grief a été invoqué et motivé par le recourant (cf. <ref-ruling> consid. 1.3 p. 41; <ref-ruling> consid. 2.5 p. 314).
2.2. Pour statuer, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 2.3 p. 266) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 3.1.2 p. 34; <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 5.2.2 p. 322 s.). Il en va de même pour la partie intimée.
3.
Le Tribunal administratif fédéral, tout en admettant implicitement que le retrait de la carte d'identité aéroportuaire portait atteinte à la situation juridique du recourant, a considéré qu'aucune base légale ni aucune clause de délégation législative ne conférait à l'Aéroport une compétence décisionnelle en cette matière. Partant, l'acte attaqué n'émanait pas d'une autorité visée à l'art. 33 let. h LTAF (RS 173.32) et à l'art. 1 al. 2 let. e PA (RS 172.021), à savoir une organisation indépendante de l'administration statuant dans l'accomplissement de tâches de droit public à elles confiées par la Confédération. Le Tribunal administratif fédéral en a déduit que l'acte attaqué ne constituait pas une décision au sens de l'<ref-law>, de sorte qu'en vertu de l'<ref-law> il n'était pas compétent pour en connaître.
Avant de se demander si, sur le fond, c'est à juste titre que la compétence de l'Aéroport n'a pas été admise faute de base légale suffisante, il convient de se prononcer sur les critiques formelles de nature procédurale dirigées contre l'arrêt attaqué. Celles-ci émanent tant du recourant (cf. infra consid. 4), que de l'intimé (cf. infra consid. 5), qui l'appuie sur ce point.
4.
Se plaignant d'une violation des art. 31 et 33 let. h LTAF, le recourant soutient que le Tribunal administratif fédéral ne pouvait déclarer son recours irrecevable en raison de l'incompétence de l'auteur de l'acte attaqué, mais qu'il devait entrer en matière et soit annuler la décision de retrait de sa carte aéroportuaire soit transmettre la cause à l'autorité compétente pour en connaître, en application des art. 8, 21 al. 2 et 38 PA, des dispositions similaires de la procédure administrative genevoise au cas où la compétence de l'Aéroport relèverait du droit cantonal et du principe de la bonne foi.
4.1. L'<ref-law> pose le principe que le Tribunal administratif fédéral connaît des recours contre les décisions au sens de l'<ref-law>. Selon la jurisprudence, sont des décisions les actes de l'autorité qui règlent de manière unilatérale et contraignante un rapport juridique dans un cas particulier (<ref-ruling> consid. 6.1 p. 412; <ref-ruling> consid. 1.1 p. 32; arrêt 2C_777/2009 du 21 avril 2010 consid. 2.2, in SJ 2010 I p. 516). Pour déterminer s'il y a ou non décision, il y a lieu de considérer les caractéristiques matérielles de l'acte (arrêt 2C_282/2017 du 4 décembre 2017 consid. 2.1). Quant à l'art. 33 let. h LTAF, il prévoit que le recours est notamment recevable contre les décisions des organisations extérieures à l'administration fédérale, pour autant qu'elles statuent dans l'accomplissement de tâches de droit public que la Confédération leur a confiées, ce qui correspond à la définition figurant à l'art. 1 al. 2 let. e PA.
4.2. En l'occurrence, le retrait de la carte d'identité aéroportuaire par l'Aéroport remplit, sur le plan matériel, les conditions d'une décision, puisqu'il a eu pour effet de priver de facto le recourant de tout accès aux zones de l'Aéroport où il exerçait son activité professionnelle, alors qu'auparavant il y était autorisé. En présence d'un tel acte, il faut donc déterminer si l'autorité judiciaire pouvait, en vertu de la procédure applicable devant elle, se contenter de déclarer le recours irrecevable, au motif qu'il émanait d'une autorité incompétente ratione materiae.
4.3. Les règles procédurales, et en particulier la procédure administrative fédérale, doivent permettre aux justiciables qui les respectent d'obtenir l'annulation ou la modification d'une décision qui est viciée, voire en cas de vice grave, la constatation de sa nullité (cf. PIERMARCO ZEN-RUFFINEN, Droit administratif, 2e éd. 2013, p. 156 s.). Ces règles sont là pour concrétiser l'art. 29a Cst., qui garantit à une personne physique ou morale de se prévaloir d'intérêts individuels dignes de protection lui ouvrant l'accès au juge lorsque le litige affecte ses droits et obligations (cf. <ref-ruling> consid. 4.2 p. 411; arrêt 2C_684/2015 du 24 février 2017 consid. 6.5.1).
4.4. Si l'on peut admettre qu'un recours puisse être déclaré irrecevable lorsqu'il est dirigé contre un acte qui n'émane pas d'une autorité habilitée à rendre des décisions (cf. arrêt 2C_386/2014 du 18 janvier 2016 consid. 7.6) s'il n'entraîne aucune conséquence juridique (cf. <ref-ruling> consid. 2.3 p. 349) et/ou s'il règle des rapports relevant du droit privé (cf. arrêt 2C_261/2017 du 2 novembre 2017 consid. 5 en particulier), il n'en demeure pas moins que, lorsque l'acte attaqué, rendu par une autorité incompétente ratione materiae, modifie la situation juridique de l'administré et relève du droit public, l'autorité judiciaire saisie ne peut se limiter à constater l'irrecevabilité du recours. Elle est tenue de se prononcer soit sur la voie judiciaire à suivre pour attaquer un tel acte, soit sur son sort pour le justiciable, en l'annulant ou, dans les cas graves, en le déclarant nul (cf. KIENER/RÜTSCHE/KUHN, Öffentliches Verfahrensrecht, 2e éd. 2015, no 513 ss), sous peine de priver l'intéressé d'un accès au juge et de laisser subsister une situation juridique incertaine liée à l'existence d'un acte vicié.
4.5. En l'espèce, il n'est pas contestable que le retrait de la carte d'identité aéroportuaire a exercé une incidence sur la situation juridique du recourant. Un tel acte repose en outre sur le droit public (cf. infra consid. 8). Alors qu'il n'a pas remis en cause ce point, le Tribunal administratif fédéral a déclaré le recours irrecevable au motif que l'Aéroport n'était pas une autorité compétente ratione materiae pour rendre de telles décisions, sans se prononcer ni sur l'autorité compétente pour se saisir de cet acte, ni sur le sort de l'acte attaqué prononçant le retrait de ladite carte. Le recourant se voit donc empêché de contester devant une autorité judiciaire un acte qualifié de vicié et qui a modifié sa situation juridique. L'arrêt attaqué ne peut donc, pour ce motif, être confirmé.
5.
L'intimé soutient pour sa part que son droit d'être entendu, tel que garanti par l'art. 29 al. 2 Cst. et l'<ref-law>, a été violé dès lors que le Tribunal administratif fédéral a justifié sa décision d'irrecevabilité par l'incompétence décisionnelle de l'Aéroport, sans lui donner l'occasion de se prononcer sur le sujet.
5.1. Selon l'<ref-law> (applicable par renvoi de l'<ref-law>), si le recours n'est pas d'emblée irrecevable ou infondé, l'autorité de recours en donne connaissance sans délai à l'autorité qui a pris la décision attaquée et, le cas échéant, aux parties adverses du recourant ou à d'autres intéressés, en leur impartissant un délai pour présenter leur réponse (...). Cette disposition tend à la fois à garantir le droit d'être entendu des parties au sens de l'art. 29 al. 2 Cst. et à aider l'autorité de recours à appréhender les faits d'une manière conforme à la réalité (RHINOW/KOLLER/KISS/THURNHERR/BRÜHL-MOSER, Öffentliches Prozessrecht, 3e éd. 2014, n. 1646), tout en procédant à une correcte interprétation des normes applicables (ANDRÉ MOSER, in VwVg Komm., 2008, no 10 ad art. 57; KÖLZ/HÄNER/BERTSCHI, Verwaltungsverfahren, 3e éd. 2013, no 1112 ss, 1118).
5.2. En l'espèce, il ressort de l'arrêt attaqué que le Tribunal administratif fédéral a demandé l'avis des deux autorités spécialisées en matière d'aviation civile avant de statuer. Le Département fédéral a renoncé à prendre position, alors que l'Office fédéral a déposé des observations le 30 juin 2016 sur lesquelles le recourant a pris position dans ses déterminations finales du 15 juillet 2016 (arrêt attaqué let. C, E, F). Il en découle que les juges précédents avaient des doutes sur la compétence décisionnelle de l'Aéroport, de sorte que l'on ne se trouve pas dans une situation où le recours paraissait d'emblée irrecevable, ce qui aurait permis au Tribunal administratif fédéral de statuer sans demander aux intéressés une prise de position (cf. art. 57 al. 1 ab initio PA). Partant, l'Aéroport aurait à tout le moins dû avoir l'occasion de se prononcer sur les observations de l'Office fédéral, dès lors que celles-ci aboutissaient à nier sa compétence.
5.3. La décision attaquée admet que l'avis de l'Aéroport sur la question de la recevabilité n'a pas été formellement requis en application de l'<ref-law>, mais retient néanmoins que les diverses prises de position lui ont été transmises et que celui-ci n'a pas réagi ni émis le souhait de s'exprimer (arrêt attaqué consid. 1.2).
Comme le relève l'intimé dans sa réponse, une telle approche procède d'une constatation manifestement inexacte des faits au sens de l'<ref-law> (sur cette notion, cf. supra consid. 2.2). En effet, il ressort du dossier que les observations de l'Office fédéral du 30 juin 2016 ont été transmises par le Tribunal administratif fédéral au seul recourant le 5 juillet 2016 pour qu'il prenne position à cet égard jusqu'au 15 juillet suivant. Celui-ci a présenté des observations en date du 15 juillet 2016, qui ont été transmises pour information à l'intimé le 19 juillet suivant. Par courrier du lendemain, soit du 20 juillet 2016, l'Aéroport a indiqué au Tribunal administratif fédéral qu'il n'avait pas eu connaissance de la prise de position de l'Office fédéral du 30 juin 2016 mentionnée dans cette écriture et en a sollicité une copie. Aucune suite n'a été donnée à ce courrier avant le prononcé de l'arrêt attaqué, qui date du jour suivant, soit du 21 juillet 2016. Ce déroulement des événements, qui ressort du dossier, démontre que la procédure prévue à l'<ref-law> n'a pas été respectée et viole le droit d'être entendu de l'Aéroport. En effet, celui-ci a été privé de la possibilité de consulter et a fortiori de se prononcer sur un avis pourtant fondamental le concernant, puisque l'arrêt attaqué, suivant la position de l'Office fédéral, constate l'absence de compétence décisionnelle de l'intimé en matière de retrait des cartes d'identité aéroportuaires.
Pour ce motif formel également, il se justifie d'annuler l'arrêt attaqué.
6.
6.1. En principe, lorsqu'il annule un arrêt d'irrecevabilité, le Tribunal fédéral renvoie la cause à l'autorité inférieure pour qu'elle tranche sur le fond, afin que le justiciable ne soit pas privé d'un degré de juridiction (cf. <ref-law> et <ref-ruling> consid. 1.2 p. 48). En l'occurrence, pour déterminer l'étendue du renvoi, il convient de trancher la question de la compétence de l'Aéroport pour décider du retrait des cartes d'identité aéroportuaires, que le Tribunal administratif fédéral a niée pour justifier l'irrecevabilité du recours. L'intimé critique cette position, y voyant une violation du droit fédéral et international.
6.2. L'examen de la compétence décisionnelle de l'Aéroport suppose dans un premier temps de rappeler les exigences en matière de délégation du pouvoir décisionnel (consid. 7), puis de présenter les différents textes applicables (consid. 8).
7.
7.1. L'art. 178 al. 3 Cst. prévoit que la loi peut confier des tâches de l'administration à des organismes et à des personnes de droit public ou de droit privé qui sont extérieurs à l'administration fédérale.
Selon la jurisprudence, la compétence de rendre des décisions au sens de l'<ref-law> est un privilège - et un monopole - de souveraineté de la puissance publique. Pour que des personnes juridiques extérieures à l'administration puissent être habilitées à le faire, une base légale formelle est nécessaire (<ref-ruling> consid. 5.1 p. 158). Toutefois, la délégation de tâches publiques à un organisme extérieur à l'administration peut implicitement comprendre le pouvoir décisionnel nécessaire à leur accomplissement, pour autant qu'une loi spéciale ne l'exclue pas et que l'exercice d'un tel pouvoir de décision soit indispensable à l'organisme concerné pour réaliser lesdites tâches. Le plus souvent, la question de savoir si la délégation d'une tâche publique englobe celle d'un pouvoir décisionnel ne trouve pas de réponse évidente dans le texte légal et il faut déterminer par voie d'interprétation l'existence et, le cas échéant, l'étendue et le champ d'application précis d'un tel pouvoir (cf. <ref-ruling> consid. 6.2 p. 412 et les références citées, en particulier à l'arrêt 2C_715/2008 du 15 avril 2009 consid. 3.2).
7.2. L'exigence d'une base légale formelle n'exclut pas que le législateur puisse autoriser le pouvoir exécutif, par le biais d'une clause de délégation législative, à édicter des règles de droit (art. 164 al. 2 Cst.) destinées à préciser les tâches publiques et les pouvoirs y afférents que la loi a confiés à une organisation extérieure à l'administration, ceci valant en particulier pour la délégation de tâches publiques mineures ou purement techniques. La clause de délégation législative en faveur du Conseil fédéral est cependant soumise à des exigences strictes lorsqu'elle porte sur des tâches de puissance publique ou lorsque les droits et obligations des personnes sont en jeu (art. 164 al. 1 let. c Cst.). Il lui faut dans un tel cas être suffisamment précise de manière à circonscrire les lignes fondamentales de la réglementation déléguée, soit le but, l'objet et l'étendue des pouvoirs délégués au Conseil fédéral (<ref-ruling> consid. 6.4 p. 413 et les références citées).
8.
En matière aéronautique, les compétences de l'exploitant d'un aéroport reposent sur différents fondements juridiques.
8.1. Sur la base de l'art. 87 Cst., le législateur suisse a prévu que l'exploitation d'un aéroport à titre commercial est soumise à concession octroyée par le Département fédéral compétent (cf. art. 36a al. 1 de la loi fédérale du 21 décembre 1948 sur l'aviation [LA]; RS 748.0).
Le canton de Genève a confié la gestion et l'exploitation de l'aéroport, dans les limites de la concession fédérale, à un établissement de droit public autonome et doté de la personnalité juridique (cf. art. 1 de la loi cantonale genevoise du 10 juin 1993 sur l'Aéroport international de Genève [LAIG]; RS/GE H 3 25). L'Aéroport, en tant qu'établissement de droit public, est donc habilité à exercer les prérogatives de puissance publique dont il a besoin pour réaliser les tâches qui lui sont confiées (<ref-ruling> consid. 2.3.1), en particulier par le droit fédéral.
8.2. Selon l'art. 36a al. 2 LA, le concessionnaire a notamment l'obligation de mettre à la disposition des usagers une infrastructure répondant aux impératifs d'une exploitation sûre et rationnelle. Hormis cette obligation, la LA ne définit pas le contenu des obligations en matière de sûreté à la charge du concessionnaire.
La LA contient en revanche de nombreuses clauses de délégation en faveur du Conseil fédéral. Parmi celles-ci, l'art. 12 al. 1 LA prévoit que : "le Conseil fédéral édicte des prescriptions de police, notamment pour garantir la sécurité de l'aviation, pour prévenir des attentats (...) ". Il est aussi indiqué, à l'art. 63 LA, que le Conseil fédéral détermine, dans l'ordonnance d'exécution ou des règlements spéciaux, les droits et obligations du personnel aéronautique, dans les limites des accords internationaux et de la législation fédérale. Enfin, l'art. 109 LA prévoit que le Conseil fédéral est autorisé à prendre, jusqu'au règlement par la loi, les mesures que commandent: a. l'exécution des accords internationaux relatifs à l'aviation qui ont été approuvés par les Chambres fédérales; b. l'application à la circulation aérienne en Suisse des règles contenues dans ces accords; c. l'admission de nouveautés techniques dans le domaine de l'aviation.
8.3. Sur le plan international, l'annexe I au règlement d'exécution (UE) 2015/1998 de la Commission du 5 novembre 2015 fixant des mesures détaillées pour la mise en oeuvre des normes de base communes dans le domaine de la sûreté de l'aviation civile est consacrée à la sûreté dans les aéroports (JO UE L 299/3 du 14 novembre 2015; ci-après l'annexe au règlement 2015/1998). Il découle de cette annexe que, parmi les personnes qui sont autorisées à accéder aux zones de sûreté à accès réglementé figurent les personnes titulaires d'une carte d'identification aéroportuaire valable (art. 1.2.2.2 let. d). Le ch. 1.2.3 de l'annexe I au règlement précité prévoit que toute carte d'identification de membre d'équipage d'un membre d'équipage employé par un transporteur aérien de l'Union et toute carte d'identification aéroportuaire ne peuvent être délivrées qu'à une personne ayant un besoin opérationnel et ayant passé avec succès une vérification de ses antécédents conformément au point 11.1.3 (ch. 1.2.3.1). Les cartes d'identification de membres d'équipage et les cartes d'identification aéroportuaires doivent être délivrées pour une période ne dépassant pas cinq années (ch. 1.2.3.2). La carte d'identification d'une personne ayant échoué à une vérification de ses antécédents doit être immédiatement retirée (ch. 1.2.3.3). Les dispositions du règlement 2015/1998 sont contraignantes pour la Suisse (cf. ch. 4 annexe de l'Accord entre la Confédération suisse et la Communauté européenne sur le transport aérien du 21 juin 1999; RS 0.748.127.192.68; ci-après l'Accord sur le transport aérien; cf. aussi infra consid. 9.4.1).
8.4. Sur la base des clauses de délégation figurant dans la LA, le Conseil fédéral a édicté l'ordonnance du 23 novembre 1994 sur l'infrastructure aéronautique (OSIA; RS 748.131.1). L'<ref-law> prévoit que le règlement d'exploitation régit tous les aspects opérationnels de l'aérodrome. Il contient notamment des prescriptions sur l'utilisation des installations de l'aérodrome par les passagers, les aéronefs et les véhicules terrestres ainsi que par les autres usagers (let. d).
Le Conseil fédéral a également adopté l'ordonnance du 14 novembre 1973 sur l'aviation (OSAv; RS 748.01). L'<ref-law> prévoit que : Tout exploitant d'un aérodrome suisse ouvert au trafic aérien commercial international définit dans un programme de sûreté les mesures qu'il entend prendre, suivant la gravité de la menace, afin de prévenir tout acte dirigé contre la sûreté de l'aviation civile (al. 1).
Le programme de sûreté est soumis à l'approbation de l'OFAC (al. 2).
Le Département ordonne les mesures de sûreté, après consultation notamment de l'exploitant de l'aéroport (cf. al. 4).
L'OSAv détermine en outre les dispositions applicables et indique, à son article 122c al. 1, que :
Pour autant qu'aucune disposition particulière ne soit prévue dans la présente section concernant les mesures de sûreté ainsi que dans les prescriptions d'exécution, sont applicables:
a. les dispositions directement applicables de l'annexe 17 à la convention du 7 décembre 1944 relative à l'aviation civile internationale qui lient la Suisse; et
b. les dispositions du droit de la Communauté européenne applicables pour la Suisse.
L'alinéa 3 de l'<ref-law> prévoit enfin que l'OFAC édicte les prescriptions nécessaires, en particulier le programme national de sûreté de l'aviation civile.
8.5. En application notamment des art. 122a al. 4 et 122c al. 1 OSAv, le Département a édicté, le 20 juillet 2009, une ordonnance sur les mesures de sûreté dans l'aviation (OMSA; RS 748.122). Cette ordonnance tend à concrétiser les prescriptions de sûreté exigées par le droit européen (STÖLZLE/HOFSTETTER/WESSELY, Der Einfluss der Auslegung supranationaler Regulierungen auf die Wettbewerbsfähigkeit der Schweizer Luftfracht, in Müller/Wittmer (éd.), Auswirkungen supranationaler Regulierung in der Luftfahrt, 2008, p. 138 ss, 150 s.). L'<ref-law> prévoit que les mesures destinées à garantir la sûreté des aéroports en vertu de l'annexe I du règlement (CE) no 300/2008 et de l'annexe au règlement d'exécution (UE) 2015/1998 sont du ressort de l'exploitant d'aéroport. Selon son alinéa 3, l'exploitant d'aéroport assure l'habilitation de sûreté de l'ensemble du personnel qui exerce une activité dans la zone de sûreté à accès réglementé.
9.
Il convient de se demander si, sur la base des dispositions susmentionnées, c'est à juste titre que l'arrêt attaqué a nié la compétence décisionnelle de l'Aéroport.
9.1. S'il faut admettre que la réglementation est complexe, en ce qu'elle comporte des délégations de compétences en cascade, des renvois qui se recoupent et qu'elle fait appel à des textes nationaux et internationaux, il n'en demeure pas moins que, contrairement à la position du Tribunal administratif fédéral, elle permet, par la combinaison du droit interne et du droit international, de reconnaître à l'Aéroport une compétence décisionnelle dans le domaine des cartes d'identification aéroportuaires.
9.2. Tout d'abord, l'art. 36a LA impose à l'exploitant de l'Aéroport l'obligation de mettre à disposition des usagers une infrastructure répondant aux impératifs d'une exploitation sûre et rationnelle. Cette clause demeure cependant vague et ne définit pas les mesures de sûreté à prendre concrètement (cf. arrêt 2C_715/2008 du 15 avril 2009 consid. 4). Elle ne peut donc à elle seule suffire à conférer à l'Aéroport une compétence décisionnelle générale. En revanche, elle a été complétée par d'autres normes destinées à préciser les tâches publiques attribuées à l'exploitant d'aéroport en vue de mettre à disposition des usagers une infrastructure sûre et rationnelle.
9.3. La réglementation concernant les cartes d'identification aéroportuaires trouve son origine dans les textes communautaires. Comme on l'a vu, l'annexe au règlement 2015/1998 prévoit les conditions à la délivrance et au retrait de telles cartes, en exigeant notamment le retrait immédiat en cas d'échec à une vérification concernant son titulaire (cf. supra consid. 8.3).
Ces règles européennes ont été concrétisées dans l'OMSA. Ainsi, à l'art. 4 al. 1 et 3 OMSA, le Département, sur délégation du Conseil fédéral (cf. art. 122a et 122c OSAv), a précisé que les mesures destinées à garantir la sûreté des aéroports figurant notamment dans l'annexe au règlement 2015/1998 sont du ressort de l'exploitant de l'aéroport, qui doit en particulier assurer l'habilitation de sûreté de l'ensemble du personnel actif dans la zone de sûreté à accès réglementé. Ce faisant, le Département a désigné expressément l'exploitant de l'aéroport comme compétent pour prendre les mesures de sûretés prévues à l'annexe au règlement 2015/1998 auquel il est renvoyé. Contrairement à ce que soutient le Tribunal administratif fédéral, ce renvoi comprend implicitement et nécessairement le pouvoir de rendre des décisions de la part de l'autorité qui est désignée comme compétente à l'<ref-law>, à savoir l'exploitant d'aéroport. Sans pouvoir décisionnel, on conçoit mal que l'Aéroport puisse assurer l'habilitation de sûreté du personnel actif dans la zone à accès réglementé et, en particulier, garantir le retrait immédiat de la carte et de l'accès aux zones de sécurité du personnel ayant subi un échec de vérification, comme imposé par le droit européen. Cette compétence décisionnelle est donc indispensable à la réalisation des prescriptions prévues par l'annexe au règlement 2015/1998.
9.4. Encore faut-il se demander si cette délégation de compétence repose sur une base légale suffisante sur le plan formel.
9.4.1. En matière de transport aérien, le Tribunal fédéral a déjà eu l'occasion de préciser que, dans le système moniste qui prévaut en Suisse, les exigences figurant dans la législation européenne qui concrétisent l'Accord sur le transport aérien sont applicables directement en tant que droit national (cf. <ref-ruling> consid. 3.1 p. 46 s.; arrêt 2C_950/2012 du 8 août 2013 consid. 2.2). L'annexe au règlement 2015/1998 est, s'agissant en tout cas des cartes d'identification aéroportuaires, directement applicable en Suisse, dès lors qu'elle contient des dispositions suffisamment précises et claires en la matière (cf. <ref-ruling> consid. 4.5.1 p. 178; <ref-ruling> consid. 4.2 p. 190). Celles-ci constituent donc une base légale suffisante pour prendre les mesures qui s'imposent, notamment le retrait immédiat de la carte d'identité aéroportuaire (cf. par analogie en lien avec l'<ref-law>, arrêt 2C_950/2012 du 8 août 2013 consid. 5.2).
Certes, la compétence de l'exploitant d'aéroport en matière d'octroi et de retrait de cartes aéroportuaires n'est expressément mentionnée que dans une ordonnance du Département (<ref-law>). Toutefois, cette disposition précise l'obligation générale conférée par l'art. 36a LA à l'exploitant d'aéroport consistant à mettre à disposition des usagers une exploitation sûre, en lien avec les exigences concrètes imposées par le droit européen. Il se trouve que le législateur fédéral a lui-même expressément renoncé à prendre les mesures d'exécution nécessaires à la concrétisation de l'annexe au règlement 2015/1998 en déléguant cette tâche au Conseil fédéral (cf. art. 109 LA). Que ce dernier ait confié au Département en charge de l'aviation civile de désigner l'autorité compétente pour gérer le personnel et les accès aux zones protégées ne saurait signifier que l'exploitant de l'aéroport, désigné par le Département, ne pourrait, faute de base légale suffisante, disposer d'un pouvoir décisionnel.
9.4.2. Cette interprétation des différentes normes légales conférant à l'Aéroport un pouvoir décisionnel est corroborée par le Programme national de sûreté de l'aviation civile établi par la Confédération (aussi appelé NASP). Comme la Cour de céans l'a déjà souligné, le NASP ne constitue pas un texte ayant force de loi, mais a la portée d'une ordonnance administrative (arrêt 2C_950/2012 du 8 août 2013 consid. 5.2). S'il est donc vrai, comme le retient l'arrêt attaqué, qu'il ne saurait à lui seul fonder la compétence décisionnelle de l'Aéroport, il peut en revanche servir pour en confirmer l'interprétation, dès lors que ce texte est censé avoir été élaboré dans le respect des textes légaux. Au demeurant, on peut s'étonner, à l'instar de l'intimé, que l'Office fédéral qui, conformément à l'<ref-law>, a approuvé le NASP, conteste à présent les dispositions qui y figurent.
9.5. La position consistant à nier à l'Aéroport une compétence décisionnelle exprimée par l'Office fédéral ne peut être suivie. Cet Office soutient que, sous réserve de quelques rares exceptions, il serait seul habilité à rendre des décisions en matière de droit aérien, tout en faisant une distinction entre les "décisions de fait" que l'Aéroport pourrait prendre et les décisions "de droit", qui seules lui incomberaient. Il considère ainsi que l'Aéroport pourrait délivrer un certificat d'identité aéroportuaire et le retirer, mais sans rendre de décision, renvoyant les personnes souhaitant contester le retrait auprès de l'Office fédéral qui lui seul pourrait alors rendre une décision. Un tel mécanisme procédural n'a aucune assise dans la loi et va à l'encontre de l'art. 4 al. 1 et 3 OMSA. A cela s'ajoute que ce raisonnement, par la distinction qu'il fait entre "décision de fait et de droit" perd de vue que l'<ref-law> ne contient pas une telle distinction. Or, le certificat d'identité aéroportuaire n'est pas un acte purement déclaratoire. Il permet l'accès de son titulaire à des zones sécurisées de l'Aéroport. Par conséquent, tant sa délivrance que son retrait constitue une décision au sens de l'<ref-law>.
9.6. Il convient également de souligner que le principe du parallélisme des formes, selon lequel une décision ne peut en principe être révoquée que par l'autorité qui a pris la décision initiale et selon la même procédure (cf. <ref-ruling> consid. 4.2 p. 503 et les références citées), implique que, si l'Aéroport est compétent pour octroyer la carte d'identité aéroportuaire, ce que ne nie pas l'Office fédéral, il doit aussi pouvoir la retirer.
9.7. Il en découle que la compétence décisionnelle de l'Aéroport en matière de retrait de cartes d'identité aéroportuaires doit être admise en vertu du droit fédéral. Par conséquent, le Tribunal administratif fédéral ne pouvait refuser d'entrer en matière sur le recours au motif que l'acte de retrait du 17 mars 2016 n'était pas une décision, dès lors qu'elle n'émanait pas d'une autorité compétente ratione materiae.
10.
Dans ces circonstances, le recours doit être admis dans la mesure où il est recevable (cf. supra consid. 1.2). L'arrêt attaqué sera annulé et la cause renvoyée au Tribunal administratif fédéral pour qu'il entre en matière sur le recours interjeté devant lui et examine partant le bien-fondé de la décision de retrait du 17 mars 2016.
Dès lors que l'arrêt attaqué doit être annulé dans son intégralité, le grief du recourant concernant les frais mis à sa charge par le Tribunal administratif fédéral n'a pas à être examiné, car il n'a plus d'objet. De même, il n'y a pas lieu de se prononcer sur les arguments subsidiaires développés par le recourant au cas où l'autorité précédente aurait dû transmettre l'affaire à une autorité cantonale compétente.
11.
L'Aéroport, qui ne pouvait former de recours joint et qui n'a pas acquiescé au recours dans sa réponse, est réputé succomber (cf. BERNARD CORBOZ, in Commentaire LTF, 2e éd. 2014, no 38 ad <ref-law>). Aucuns frais ne seront toutefois mis à sa charge dès lors qu'il agit dans l'exercice de ses attributions officielles, sans que son intérêt patrimonial soit en cause (cf. <ref-law>). Il versera en revanche des dépens au recourant qui obtient gain de cause (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis dans la mesure où il est recevable. L'arrêt du Tribunal administratif fédéral du 21 juillet 2016 est annulé. La cause est renvoyée à cette autorité pour qu'elle entre en matière sur le recours interjeté devant elle et examine le bien-fondé de la décision de retrait du 17 mars 2016.
2.
Il n'est pas perçu de frais judiciaires.
3.
L'intimé versera au recourant la somme de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, au Tribunal administratif fédéral, Cour I, à l'Office fédéral de l'aviation civile et au Département fédéral de l'environnement, des transports, de l'énergie et de la communication.
Lausanne, le 31 juillet 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber