Faits: A. X._ est titulaire, depuis 1981, d'une licence de pilote professionnel d'avion et, depuis 1991, d'une licence de pilote de ligne. Depuis de nombreuses années, il possède également une licence de pilote privé d'avion avec extensions d'instructeur FI (Flight Instructor), IRI (Instrument Rating Instructor) et TRI (Type Rating Instructor). B. Par décision du 28 décembre 2012, l'Office fédéral de l'aviation civile (ci-après l'Office fédéral) a retiré avec effet immédiat et pour une durée indéterminée les extensions d'instructeur FI, IRI et TRI détenues par X._. Il était prévu que ces extensions seraient restituées à l'intéressé si celui-ci produisait une attestation de l'Office fédéral démontrant sa réussite aux examens théoriques pour pilotes privés relatifs aux branches Droit aérien, ainsi que Performance et planification de vol, et une évaluation positive de ses compétences pour les fonctions FI, IRI et TRI. Enfin, compte tenu de l'intérêt de sécurité publique en jeu, cette décision prévoyait que tout recours serait privé de l'effet suspensif. Il était en substance reproché à X._, alors qu'il agissait comme commandant de bord et instructeur, d'avoir procédé, le 26 novembre 2012 à l'aérodrome de Lausanne, à l'atterrissage d'un avion alors que la visibilité en vol et sur la piste était inférieure à 500 mètres, soit nettement en-dessous des 1'500 mètres imposés pour les vols à vue. De plus, le pilote aurait survolé en " courte finale " une zone à forte densité d'habitations. A l'encontre de la décision du 28 décembre 2012, X._ a déposé un recours auprès du Tribunal administratif fédéral en concluant à son annulation, subsidiairement à sa réforme et au prononcé d'un retrait d'admonestation d'une semaine de ses extensions d'instructeur. Il a également requis la restitution immédiate de l'effet suspensif au recours. A la demande du Tribunal, l'Office fédéral s'est déterminé le 15 février 2013 au sujet de l'effet suspensif. Le 27 février 2013, X._ a demandé si des déterminations avaient été fournies et, le cas échéant, à pouvoir se prononcer à leur sujet. Par décision incidente du 4 mars 2013, le Tribunal administratif fédéral a rejeté la requête en restitution de l'effet suspensif formée par X._, sans donner suite à sa requête du 27 février. C. A l'encontre de cette décision, X._ dépose un recours en matière de droit public au Tribunal fédéral en concluant à l'admission du recours et à la réforme de la décision attaquée en ce sens que l'effet suspensif est restitué à son recours dirigé contre la décision du 28 décembre 2012. Subsidiairement, X._ demande le renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants. Le Tribunal administratif fédéral n'a pas déposé d'observations. L'Office fédéral s'est référé à ses écritures antérieures et à la décision du 4 mars 2013. X._ a présenté des observations volontaires.