Faits:
A.
X._ est titulaire, depuis 1981, d'une licence de pilote professionnel d'avion et, depuis 1991, d'une licence de pilote de ligne. Depuis de nombreuses années, il possède également une licence de pilote privé d'avion avec extensions d'instructeur FI (Flight Instructor), IRI (Instrument Rating Instructor) et TRI (Type Rating Instructor).
B.
Par décision du 28 décembre 2012, l'Office fédéral de l'aviation civile (ci-après l'Office fédéral) a retiré avec effet immédiat et pour une durée indéterminée les extensions d'instructeur FI, IRI et TRI détenues par X._. Il était prévu que ces extensions seraient restituées à l'intéressé si celui-ci produisait une attestation de l'Office fédéral démontrant sa réussite aux examens théoriques pour pilotes privés relatifs aux branches Droit aérien, ainsi que Performance et planification de vol, et une évaluation positive de ses compétences pour les fonctions FI, IRI et TRI. Enfin, compte tenu de l'intérêt de sécurité publique en jeu, cette décision prévoyait que tout recours serait privé de l'effet suspensif.
Il était en substance reproché à X._, alors qu'il agissait comme commandant de bord et instructeur, d'avoir procédé, le 26 novembre 2012 à l'aérodrome de Lausanne, à l'atterrissage d'un avion alors que la visibilité en vol et sur la piste était inférieure à 500 mètres, soit nettement en-dessous des 1'500 mètres imposés pour les vols à vue. De plus, le pilote aurait survolé en " courte finale " une zone à forte densité d'habitations.
A l'encontre de la décision du 28 décembre 2012, X._ a déposé un recours auprès du Tribunal administratif fédéral en concluant à son annulation, subsidiairement à sa réforme et au prononcé d'un retrait d'admonestation d'une semaine de ses extensions d'instructeur. Il a également requis la restitution immédiate de l'effet suspensif au recours. A la demande du Tribunal, l'Office fédéral s'est déterminé le 15 février 2013 au sujet de l'effet suspensif. Le 27 février 2013, X._ a demandé si des déterminations avaient été fournies et, le cas échéant, à pouvoir se prononcer à leur sujet.
Par décision incidente du 4 mars 2013, le Tribunal administratif fédéral a rejeté la requête en restitution de l'effet suspensif formée par X._, sans donner suite à sa requête du 27 février.
C.
A l'encontre de cette décision, X._ dépose un recours en matière de droit public au Tribunal fédéral en concluant à l'admission du recours et à la réforme de la décision attaquée en ce sens que l'effet suspensif est restitué à son recours dirigé contre la décision du 28 décembre 2012. Subsidiairement, X._ demande le renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants.
Le Tribunal administratif fédéral n'a pas déposé d'observations. L'Office fédéral s'est référé à ses écritures antérieures et à la décision du 4 mars 2013. X._ a présenté des observations volontaires.

Considérant en droit:
1.
1.1. La décision attaquée refuse de restituer l'effet suspensif. Il s'agit donc d'une décision incidente en matière de mesures provisionnelles contre laquelle un recours immédiat au Tribunal fédéral n'est admissible qu'aux conditions de l'<ref-law> (arrêt 9C_867/2012 du 17 avril 2013 consid. 2). En vertu de cette disposition, les décisions préjudicielles et incidentes (autres que celles prévues à l'<ref-law>) peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable, c'est-à-dire un dommage de nature juridique qui ne peut pas être réparé ultérieurement par un jugement final ou une autre décision favorable au recourant (<ref-ruling> consid. 4 p. 141, 288 consid. 3.1 p. 291), ce qu'il appartient à celui-ci de démontrer sous peine d'irrecevabilité (<ref-ruling> consid. 4 p. 95; <ref-ruling> consid. 1.3.3 p. 141). Selon la jurisprudence, des mesures provisionnelles causent un préjudice irréparable si elles ont pour effet d'interdire certains actes sur lesquels il n'est par la suite pas possible de revenir concrètement, ce qui est notamment le cas d'un retrait provisoire d'un permis de conduire (arrêt 1C_195/2013 du 20 mars 2013 consid. 1.2).
Comme l'indique le recourant, la décision attaquée a pour effet de l'empêcher d'exercer une activité d'instructeur pendant toute la durée de la procédure. Par analogie avec la jurisprudence relative au permis de conduire, elle est donc de nature à lui causer un préjudice irréparable au sens de l'<ref-law>.
1.2. La voie du recours en matière de droit public est par ailleurs ouverte, la décision attaquée ayant été rendue par le Tribunal administratif fédéral (<ref-law>), dans une cause de droit public (<ref-law>) ne tombant sous aucune des exceptions prévues à l'<ref-law>, dès lors que le retrait litigieux ne se fonde pas sur le résultat des évaluations de capacité du recourant (cf. art. 83 let. t LTF). Le recours a par ailleurs été interjeté en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), par le destinataire de la décision attaquée, qui remplit les conditions de l'<ref-law>.
1.3. Enfin, la décision refusant de restituer l'effet suspensif à un recours est une décision de mesures provisionnelles au sens de l'<ref-law>, de sorte que seule la violation de droits constitutionnels peut être invoquée (<ref-ruling> consid. 2 p. 477). Le recourant soulevant de tels griefs d'une manière conforme à l'<ref-law> (<ref-ruling> consid. 1.5 p. 197), il convient d'entrer en matière.
2.
Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente. L'exception rendant les faits et moyens de preuve nouveaux recevables est réalisée lorsque la décision de l'autorité précédente justifie, pour la première fois, de les invoquer. Tel est en particulier le cas de l'allégation des faits de procédure nécessaires pour établir que l'autorité précédente a violé le droit d'être entendu du recourant (cf. arrêt 6B_496/2012 du 18 avril 2013 consid. 7.2 et les arrêts cités).
3.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se prévaut d'une violation de son droit d'être entendu au sens des art. 29 Cst. et 6 CEDH. Il reproche en substance au Tribunal administratif fédéral de ne pas lui avoir communiqué la prise de position de l'Office fédéral du 15 février 2013 en matière d'effet suspensif et de ne pas l'avoir laissé se déterminer sur son contenu, bien qu'il l'ait demandé dans un courrier du 27 février 2013.
3.1. Selon la jurisprudence constante, l'art. 29 al. 2 Cst. trouve application dans le cadre d'une procédure concernant des mesures provisoires (cf. arrêts 2C_598/2012 du 21 novembre 2012 consid. 2.3; 2C_631/2010 du 8 septembre 2010 consid. 3.2; 2P.103/2006 du 29 mai 2006 consid. 3.1). Depuis l'arrêt de la Grande Chambre de la CourEDH Micallef contre Malte du 15 octobre 2009, il en va de même pour l'art. 6 CEDH, à condition, d'une part, que le droit en jeu tant dans la procédure principale que dans la procédure d'injonction soit de " caractère civil " au sens de l'art. 6 CEDH et, d'autre part, que la mesure provisoire soit déterminante pour le droit ou l'obligation de caractère civil (arrêt [de la CourEDH] Micallef c. Malte du 15 octobre 2009 § 83 ss; cf. FRÉDÉRIC KRENC, L'assujettissement du référé aux garanties du procès équitable, in Revue trimestrielle des droits de l'homme, RTDH 2011, p. 295 ss). En l'occurrence, il n'est pas nécessaire d'examiner si ces conditions sont réunies puisque l'art. 29 al. 2 Cst. a la même portée que l'art. 6 par. 1 CEDH s'agissant du droit à la réplique (cf. <ref-ruling> consid. 4.3-4.6 p. 102-104).
3.2. Conformément aux art. 29 al. 2 Cst. et 6 CEDH, les parties ont le droit d'être entendues. Compris comme l'un des aspects de la notion générale de procès équitable, le droit d'être entendu comprend en particulier le droit, pour une partie à un procès, de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre. Il appartient en effet aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part. Toute prise de position ou pièce nouvelle versée au dossier doit dès lors être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (<ref-ruling> consid. 2.1 p. 485; <ref-ruling> consid. 2 p. 197; <ref-ruling> consid. 4.3 p. 102; <ref-ruling> consid. 3.3.2 p. 46; arrêt 1C_458/2011 du 29 février 2012 consid. 3.1 et les arrêts cités).
3.3. L'art. 29 al. 2 Cst. n'a, dans le cadre d'une procédure concernant des mesures provisoires, pas la même portée que s'agissant de la procédure au fond (arrêts 2C_598/2012 du 21 novembre 2012 consid. 2.3; 2C_215/2011 du 26 juillet 2011 consid. 3.4; 2C_631/2010 du 8 septembre 2010 consid. 3.2; 2P.103/2006 du 29 mai 2006 consid. 3.1). Ainsi, les décisions judiciaires concernant l'effet suspensif doivent par nature être rendues rapidement et sans de longues investigations complémentaires (ce que prévoit du reste expressément l'<ref-law>). La Cour européenne des droits de l'homme admet d'ailleurs que " dans des cas exceptionnels - par exemple lorsque l'effectivité de la mesure sollicitée dépend de la rapidité du processus décisionnel - il peut se révéler impossible de respecter dans l'immédiat toutes les exigences prévues à l'article 6. Ainsi, dans certaines hypothèses précises, tandis que l'indépendance et l'impartialité du tribunal ou du juge concerné constituent des garanties indéniables qu'il est indispensable de respecter dans pareille procédure, d'autres garanties procédurales peuvent ne s'appliquer que dans la mesure où le permettent la nature et le but de la procédure provisoire considérée " (arrêt [de la CourEDH] Micallef c. Malte du 15 octobre 2009 § 86). L'autorité qui statue peut donc, sauf circonstances spécifiques, se dispenser d'entendre de manière détaillée les intéressés ou de procéder à un second échange d'écritures. Le droit d'être entendu du requérant est en principe déjà garanti par le dépôt de sa demande en matière d'effet suspensif (cf. arrêts 2C_215/2011 du 26 juillet 2011 consid. 3.4; 2C_631/2010 du 8 septembre 2010 consid.3.2; 2D_40/2008 du 19 mai 2008 consid. 2.3; 2A.619/2002 du 10 mars 2003 consid. 3 non publié in <ref-ruling>).
3.4. En l'espèce, le recourant, à l'appui de sa demande de restitution de l'effet suspensif adressée au Tribunal administratif fédéral, a pu expliquer en quoi il contestait les actes qui lui étaient reprochés par l'Office fédéral. Invité à se déterminer, l'Office fédéral a présenté sa position le 15 février 2013. Par lettre du 27 février 2013, le mandataire du recourant, à qui ces déterminations n'avaient pas été transmises, a demandé au Tribunal si l'Office fédéral s'était déterminé et, le cas échéant, a sollicité de pouvoir faire valoir son droit à la réplique. Le Tribunal administratif fédéral n'a pas donné suite à cette requête et a statué le 4 mars 2013. Au consid. 3 de sa décision, il a indiqué qu'il convenait de statuer rapidement en matière d'effet suspensif (cf. <ref-law>), sur la base d'un examen sommaire et après avoir entendu les parties; or, le recourant s'était exprimé dans sa requête et il n'y avait pas lieu d'ordonner un second échange d'écritures sur cette question.
3.5. Contrairement à ce que prétend le recourant, un tel procédé ne constitue pas une violation du droit d'être entendu déduit de l'art. 29 Cst. Il ne faut pas perdre de vue que la procédure porte sur une mesure provisoire, et non sur une décision au fond. Or, tant la jurisprudence du Tribunal fédéral que celle de la Cour européenne des droits de l'homme reconnaissent que, si elles ont une portée étendue s'agissant des procédures au fond, les garanties découlant du droit d'être entendu peuvent connaître quelques aménagements dans le cas d'une procédure concernant des mesures provisoires. Le caractère d'urgence des mesures provisoires implique que le juge statue sans délai. Inhérent à la nature même de " mesure provisionnelle " et exprimé à l'<ref-law> in fine, ce devoir de célérité exige que, dans certaines circonstances, l'autorité se dispense de procéder à un second échange d'écritures, sous peine de compromettre l'efficacité de la mesure provisoire. En d'autres termes, il ne peut être question, s'agissant de mesures provisoires, d'un droit absolu à une réplique découlant du droit d'être entendu. Le cas échéant, si la réponse de l'autorité précédente contient des éléments nouveaux décisifs sur lesquels le juge entend se fonder, un droit de réplique peut alors se justifier. Cette solution constitue une mise en oeuvre pragmatique de l'art. 6 CEDH (cf. ATF <ref-ruling> consid. 3.3.2 p. 47). Elle se justifie à plus forte raison que la décision sur mesures provisoires, par ses effets, se distingue nettement de la décision au fond. Contrairement à la décision au fond, la décision sur effet suspensif n'est revêtue que d'une autorité de la chose jugée limitée et peut être facilement modifiée. La partie concernée par l'effet suspensif peut en effet demander en tout temps, en cas de changement de circonstances, que l'ordonnance d'effet suspensif soit modifiée par l'autorité dont elle émane ou par l'instance de recours (cf. HANSJÖRG SEILER, in Praxiskommentar VwVG, 2009, n° 139 ad <ref-law>; THOMAS MERKLI, Vorsorgliche Massnahmen und die aufschiebende Wirkung bei Beschwerden in öffentlich-rechtlichen Angelegenheiten und subsidiären Verfassungsbeschwerden, in ZBl 2008 p. 421; ANDRÉ GRISEL, Traité de droit administratif, 1984, p. 923). Il est vrai que dans un arrêt non publié du 13 février 2012 (1C_568/2011), le Tribunal fédéral a jugé qu'une décision en matière d'effet suspensif prise par l'instance cantonale contrevenait aux exigences du droit d'être entendu. Les faits de cet arrêt se distinguent toutefois de ceux de la présente affaire: contrairement au cas d'espèce, l'autorité cantonale avait donné aux recourants l'occasion de répliquer, ce qu'ils avaient fait. Or, pour des raisons inconnues, l'autorité cantonale n'avait pas tenu compte de la réplique produite par les recourants. Ainsi, au vu des circonstances particulières de cet arrêt, le raisonnement qui soutient sa solution n'est pas transposable au cas d'espèce.
3.6. Il suit des considérations qui précèdent que le Tribunal administratif fédéral n'était pas tenu de communiquer les observations de l'Office fédéral au recourant. Certes, la décision attaquée fait référence à " un rapport critique sur le mauvais niveau d'un de ses élèves " (décision attaquée, p. 5) qui ne figurait pas dans la décision de l'Office fédéral du 28 décembre 2012. Ce fait n'a toutefois pas été à lui seul déterminant; il n'a été utilisé que pour confirmer la vraisemblance des actes reprochés au recourant. Pour justifier le retrait de l'effet suspensif, l'instance précédente s'est surtout fondée sur l'appréciation par l'Office fédéral de l'incident du 26 novembre 2012. Le Tribunal administratif fédéral a considéré à cet égard que l'argumentation de l'autorité inférieure était convaincante et que celle-ci avait procédé à une juste mise en balance des intérêts en présence. Le Tribunal de céans constate du reste que le recourant n'a demandé ni à l'Office fédéral ni à l'instance précédente de modifier l'ordonnance d'effet suspensif en raison notamment de circonstances nouvelles. Partant, le grief de violation du droit d'être entendu n'est pas fondé et doit être rejeté.
4.
Sur le fond, le recourant reproche au Tribunal administratif fédéral d'avoir abusé de son pouvoir d'appréciation et violé l'<ref-law> en refusant de restituer l'effet suspensif.
4.1. D'après l'<ref-law>, le recours a effet suspensif. Sauf si elle porte sur une prestation pécuniaire, la décision de l'autorité inférieure peut prévoir qu'un recours éventuel n'aura pas d'effet suspensif; après le dépôt du recours, l'autorité de recours, son président ou le juge instructeur a la même compétence (<ref-law>).
Selon la jurisprudence, la restitution de l'effet suspensif n'est décidée qu'après une sérieuse pesée des intérêts en présence et en tenant en principe compte de la proportionnalité. Elle est subordonnée à l'existence de justes motifs, qui résident dans un intérêt public ou privé prépondérant à l'inexécution immédiate de la décision. L'autorité dispose d'une certaine liberté d'appréciation lorsqu'elle procède à la pesée des intérêts (cf. arrêts 1C_195/2013 du 20 mars 2013 consid. 3.2; 2C_866/2012 du 18 décembre 2012 consid. 1.3.1; HANSJÖRG SEILER, op. cit., n° 90 ad <ref-law>; BENOÎT BOVAY, Procédure administrative, 2000, p. 405). En cas de recours contre une décision refusant la restitution de l'effet suspensif, le Tribunal fédéral contrôle seulement si l'autorité intimée a commis un excès ou un abus de son pouvoir d'appréciation. Il n'annule sa décision que si elle a négligé des intérêts essentiels ou fait une appréciation manifestement fausse et que sa décision apparaît ainsi arbitraire dans son résultat (<ref-ruling> consid. 3 p. 289; arrêt 2A.188/2006 du 19 mai 2006 consid. 3.3).
4.2. En l'espèce, il ressort de la décision attaquée que l'incident du 26 novembre 2012 est propre à soulever de sérieux doutes sur les compétences techniques du recourant, sur son comportement de commandant de bord et sur sa capacité à instruire des élèves. Dans ces conditions, il n'est pas arbitraire de considérer qu'il existe un intérêt public important au retrait immédiat des extensions d'instructeur du recourant. Le recourant n'apporte aucun élément propre à démontrer que son intérêt privé est supérieur à l'intérêt public retenu. Il ne démontre en particulier nullement que le retrait de ses extensions d'instructeur pendant la durée de la procédure administrative lui occasionnerait un manque à gagner si important que l'atteinte subie serait sans proportion avec l'intérêt public à assurer la sécurité des personnes. Le recourant se borne à contester les faits qui lui sont reprochés et à soutenir que son recours contre la décision au fond aurait des chances d'aboutir. Or, le Tribunal administratif fédéral ne s'est pas prononcé définitivement à ce sujet, de sorte que de telles critiques sont irrecevables. Les chances de succès du recours au fond n'influencent, en effet, la pesée des intérêts que si elles peuvent être déterminées prima facie sur la base du dossier et qu'elles ne font aucun doute (<ref-ruling> consid. 2.2 p. 155; HANSJÖRG SEILER, op. cit., n° 96 ad <ref-law>; BENOÎT BOVAY, op. cit., p. 405), ce qui n'est pas le cas en l'espèce. Pour le surplus, le recourant n'expose pas en quoi l'instance précédente aurait procédé à une appréciation arbitraire des preuves, le fait d'opposer sa propre appréciation des pièces du dossier n'étant pas suffisant à cet égard (cf. supra consid. 1.3).
4.3. Le recourant ne peut pas non plus se plaindre d'une violation du principe de la proportionnalité (art. 5 al. 2 Cst.) et de la violation de la liberté économique (art. 27 Cst.). Certes, la décision attaquée porte atteinte à sa liberté économique puisqu'elle l'empêche d'exercer son activité d'instructeur pendant toute la durée de la procédure administrative. Les arguments du recourant ne sont toutefois pas de nature à tenir l'atteinte portée à sa liberté économique pour disproportionnée. Il existe en effet un intérêt public important à assurer la sécurité du trafic aérien et à protéger la vie et l'intégrité corporelle de tiers (cf. consid. 4.2). Le fait que, jusqu'à la présente procédure, aucun reproche officiel n'ait été formulé par l'autorité de surveillance depuis que le recourant exerce son activité d'instructeur ne signifie pas qu'il n'y a aucun risque qu'un incident semblable, avec d'éventuelles conséquences plus graves, ne se reproduise. En tous les cas, avant de connaître précisément le déroulement des événements et les motifs à l'origine du comportement imputé au recourant, on ne peut reprocher au Tribunal administratif fédéral d'avoir, dans la pesée des intérêts, fait prévaloir la sécurité publique sur l'intérêt privé du recourant à poursuivre son activité d'instructeur.
4.4. Il résulte de ce qui précède que l'instance précédente n'a pas abusé de son pouvoir d'appréciation ni violé le principe de la proportionnalité en refusant de restituer l'effet suspensif au recours actuellement pendant devant elle. Partant, le recours doit également être rejeté sur ce point, dans la mesure où il est recevable.
5.
Au vu de ce qui précède, il y a lieu de rejeter le recours, dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Office fédéral de l'aviation civile et au Tribunal administratif fédéral, Cour I.
Lausanne, le 21 juin 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: McGregor