Faits : A. X._, ressortissant français né en 1961, a été mis au bénéfice d'une autorisation de courte durée UE/AELE le 19 juillet 2013. Après l'échéance de cette autorisation, le 30 septembre 2013, il a poursuivi son séjour en Suisse. Entre 1993 et 2004, alors qu'il résidait en France, l'intéressé a été condamné à sept reprises, à des peines allant jusqu'à un an d'emprisonnement, pour avoir notamment conduit des véhicules sous l'emprise de l'alcool, conduit sans permis de conduire valable ou pris la fuite après un accident. Entre 2005 et 2013, en Suisse, il a encore été condamné à quatre reprises, à des peines de deux fois deux mois d'emprisonnement, une fois six mois de peine privative de liberté et une fois de 61 jours-amende de peine pécuniaire, pour des infractions à la LCR, et en particulier pour avoir conduit en état d'ébriété, sans permis et avoir violé les obligations en cas d'accident. B. Par décision du 23 janvier 2015, le Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) a prononcé une interdiction d'entrée en Suisse à l'encontre de X._, valable jusqu'au 22 janvier 2020. Il a en outre retiré l'effet suspensif à un éventuel recours. L'intéressé a contesté ce prononcé le 27 février 2015 auprès du Tribunal administratif fédéral. Dans une décision incidente du 20 mars 2015, ce dernier a constaté que la demande de restitution d'effet suspensif était sans objet en l'état puisque l'intéressé se trouvait encore en Suisse. Par arrêt du 2 mars 2016, le Tribunal administratif fédéral a rejeté le recours de X._. Il a jugé en bref que celui-ci représentait objectivement une menace réelle et actuelle, affectant un intérêt fondamental de la société. Il a considéré que la mesure d'éloignement était proportionnée. C. Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 2 août 2016 ( recte 2 mars 2016) du Tribunal administratif fédéral et de renoncer à prononcer une interdiction d'entrée en Suisse à son encontre. Il se plaint de violation du droit fédéral et du droit international. Le Tribunal administratif fédéral renonce à se déterminer. Le Secrétariat d'Etat conclut au rejet du recours. Dans des observations finales, X._ a confirmé ses conclusions.