Faits :
A.
X._, ressortissant français né en 1961, a été mis au bénéfice d'une autorisation de courte durée UE/AELE le 19 juillet 2013. Après l'échéance de cette autorisation, le 30 septembre 2013, il a poursuivi son séjour en Suisse.
Entre 1993 et 2004, alors qu'il résidait en France, l'intéressé a été condamné à sept reprises, à des peines allant jusqu'à un an d'emprisonnement, pour avoir notamment conduit des véhicules sous l'emprise de l'alcool, conduit sans permis de conduire valable ou pris la fuite après un accident. Entre 2005 et 2013, en Suisse, il a encore été condamné à quatre reprises, à des peines de deux fois deux mois d'emprisonnement, une fois six mois de peine privative de liberté et une fois de 61 jours-amende de peine pécuniaire, pour des infractions à la LCR, et en particulier pour avoir conduit en état d'ébriété, sans permis et avoir violé les obligations en cas d'accident.
B.
Par décision du 23 janvier 2015, le Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) a prononcé une interdiction d'entrée en Suisse à l'encontre de X._, valable jusqu'au 22 janvier 2020. Il a en outre retiré l'effet suspensif à un éventuel recours. L'intéressé a contesté ce prononcé le 27 février 2015 auprès du Tribunal administratif fédéral. Dans une décision incidente du 20 mars 2015, ce dernier a constaté que la demande de restitution d'effet suspensif était sans objet en l'état puisque l'intéressé se trouvait encore en Suisse.
Par arrêt du 2 mars 2016, le Tribunal administratif fédéral a rejeté le recours de X._. Il a jugé en bref que celui-ci représentait objectivement une menace réelle et actuelle, affectant un intérêt fondamental de la société. Il a considéré que la mesure d'éloignement était proportionnée.
C.
Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 2 août 2016 ( recte 2 mars 2016) du Tribunal administratif fédéral et de renoncer à prononcer une interdiction d'entrée en Suisse à son encontre. Il se plaint de violation du droit fédéral et du droit international.
Le Tribunal administratif fédéral renonce à se déterminer. Le Secrétariat d'Etat conclut au rejet du recours. Dans des observations finales, X._ a confirmé ses conclusions.

Considérant en droit :
1.
1.1. Selon l'art. 83 let. c ch. 1 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent l'entrée en Suisse, soit notamment les décisions d'interdiction d'entrée fondées, comme en l'espèce, sur l'art. 67 LEtr (RS 142.20). Cette exception ne s'applique toutefois pas dans le cas présent en vertu de l'obligation pour la Suisse prévue à l'art. 11 al. 1 et 3 ALCP (RS 0.142.112.681) d'instaurer un double degré de juridiction contre de telles décisions lorsqu'elles visent un ressortissant d'un Etat membre de l'Union européenne (cf. arrêts 2C_318/2012 du 22 février 2013 consid. 1.1, non publié in <ref-ruling>; 2C_1045/2011 du 18 avril 2012 consid. 1.1 et les nombreuses références citées). Le recours, qui porte sur un arrêt du Tribunal administratif fédéral, ce qui exclut au demeurant la possibilité d'envisager l'ouverture du recours constitutionnel subsidiaire (cf. art. 113 et 114 LTF), échappe donc à la clause d'irrecevabilité prévue à l'art. 83 let. c ch. 1 LTF, dès lors que le recourant est un ressortissant français.
1.2. Pour le surplus, déposé dans le délai prescrit (cf. <ref-law>), dans une cause de droit public (cf. <ref-law>), le recours a été interjeté à l'encontre d'une décision finale (cf. <ref-law>) rendue par le Tribunal administratif fédéral (cf. <ref-law>). Il est donc recevable.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Il statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 313 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 233 s.). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>).
Par conséquent, en tant que le recourant avance des éléments de fait ne ressortant pas de l'arrêt attaqué, par exemple en relation avec ses problèmes de santé ou l'absence de prise en charge des soins en France, sans exposer en quoi les conditions qui viennent d'être rappelées seraient réunies, il n'en sera pas tenu compte.
3.
Le recourant reproche au Tribunal administratif fédéral d'avoir violé l'art. 67 LEtr, tel qu'interprété à l'aune de l'<ref-law>, en considérant qu'il représentait encore une menace pour l'ordre et la sécurité publics suffisamment grave pour lui interdire d'entrer en Suisse durant une certaine période. Il est en outre d'avis que cette mesure est disproportionnée.
Le litige porte donc sur le point de savoir si l'autorité précédente a à bon droit retenu que, de par son comportement, le recourant présente toujours une menace grave pour la sécurité et l'ordre publics, justifiant le prononcé d'une interdiction d'entrée à son égard.
4.
4.1. La LEtr ne s'applique aux ressortissants des Etats membres de l'UE que lorsque l'ALCP n'en dispose pas autrement ou lorsqu'elle prévoit des dispositions plus favorables (art. 2 al. 2 LEtr). Comme l'ALCP ne réglemente pas l'interdiction d'entrée, c'est l'art. 67 LEtr qui est applicable (cf. art. 24 de l'ordonnance fédérale du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses Etats membres, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange [OLCP; RS 142.203]). L'art. 67 al. 2 let. a LEtr prévoit que le Secrétariat d'Etat peut interdire l'entrée en Suisse à un étranger lorsque ce dernier a attenté à la sécurité et à l'ordre publics en Suisse ou à l'étranger ou les a mis en danger. Ces notions doivent être envisagées en lien avec l'ALCP. Pour sa part, l'art. 67 al. 3 LEtr dispose encore que l'interdiction d'entrée est prononcée pour une durée maximale de cinq ans. Elle peut être prononcée pour une plus longue durée lorsque la personne concernée constitue une menace grave pour la sécurité et l'ordre publics.
4.2. Comme l'ensemble des droits conférés par l'ALCP, le droit de demeurer en Suisse, respectivement le droit d'entrer dans ce pays, ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law> (cf. <ref-ruling> consid. 5.3 p. 125 s.; <ref-ruling> consid. 3.4 p. 12 s.).
Conformément à la jurisprudence rendue en rapport avec cette disposition, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'"ordre public" pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (<ref-ruling> consid. 5.3 p. 125 s.; arrêt 2C_319/2015 du 10 septembre 2015 consid. 5.3). Il faut procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle, d'une certaine gravité pour l'ordre public (cf. <ref-ruling> consid. 5.3 p. 125 s.). Il n'est pas nécessaire d'établir avec certitude que l'étranger commettra d'autres infractions à l'avenir pour prendre une mesure d'éloignement à son encontre; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. En réalité, ce risque ne doit pas être admis trop facilement et il faut l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier au regard de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). A cet égard, le Tribunal fédéral se montre particulièrement sévère en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (cf. <ref-ruling> consid. 5.3 p. 125 s.; <ref-ruling> consid. 3.3 p. 303 s.; arrêt 2C_862/2012 du 12 mars 2013 consid. 3.1), étant précisé que la commission d'infractions qui sont en étroite relation avec la toxicomanie du délinquant peut, selon les circonstances, atténuer cette position de principe (<ref-ruling> consid. 5.3 p. 125 s. et les références citées).
5.
5.1. En l'occurrence, entre 1993 et 2013, le recourant a été condamné pénalement à douze reprises pour avoir principalement conduit en état d'ébriété et/ou sans permis de conduire valable. Contrairement à ce qu'il affirme, les peines prononcées en France doivent également être prises en compte dans la présente procédure, comme le prévoit expressément le texte de l'art. 67 al. 2 let. a LEtr et comme l'a d'ailleurs souhaité le législateur (cf. FF 2002 3469 p. 3568 s.). Quoi qu'il en dise, le recourant s'est rendu coupable d'infractions qui présentent objectivement une menace réelle pour la sécurité et l'ordre publics. En roulant régulièrement sous l'emprise de l'alcool, il met concrètement sa vie et celle des autres usagers de la route en danger. De plus, on ne saurait passer sous silence les contraventions à la LStup (RS 812.121), pour lesquelles le recourant a été condamné les 15 mai et 4 juin 2013, et le fait que le Tribunal fédéral se montre particulièrement rigoureux en présence de telles infractions (<ref-ruling> consid. 5.3 p. 125 s.). Parmi les peines prononcées à son encontre, il convient en particulier de relever que quatre d'entre elles ont été fixées entre six mois et une année. De telles peines ne constituent pas de simples infractions à la LCR, comme semble le penser le recourant, mais bien des violations graves à cette loi. Il a ainsi notamment présenté à plusieurs reprises une alcoolémie qualifiée au sens de l'<ref-law>. Par exemple, le 20 février 2010, après avoir fumé un joint, le recourant a conduit son véhicule avec un taux d'alcool de 1,67 g/kg et, en raison d'une perte de maîtrise, a arraché un panneau de signalisation (accident qu'il a tenté de camoufler avant l'arrivée de la police). Le 4 mai 2010, il a conduit avec une alcoolémie de 1,70 g/kg et, suite à une nouvelle perte de maîtrise, a endommagé une barrière avant de prendre la fuite (<ref-law>). Par son comportement, le recourant démontre qu'il est totalement imperméable aux règles de la circulation et que les sanctions subies ne peuvent le détourner de son activité délictuelle. La conduite de véhicules sans permis de conduire à réitérées reprises en atteste. En outre, le fait qu'il ait plusieurs fois perdu la maîtrise de son véhicule sous l'influence de l'alcool et soit sorti de la route (destructions de panneaux de circulation et de barrières), confirme sa dangerosité, en particulier envers les usagers les plus "faibles" qui pourraient se trouver sur le bas-côté, c'est-à-dire par exemple les piétons et les cyclistes. Le recourant ne fait montre d'aucune capacité à se conformer au système juridique, que ce soit en Suisse ou dans son pays d'origine. Certes, comme il l'explique, sa dernière condamnation remonte à un peu moins de trois ans avant que l'autorité précédente ne rende l'arrêt entrepris. Cet élément ne permet toutefois pas d'exclure un risque de récidive. Bien au contraire, rien dans les faits ressortant de l'arrêt contesté et qui lient le Tribunal fédéral (cf. <ref-law>; consid. 2 ci-dessus), ne permet de retenir que le recourant ait changé son comportement et qu'à l'avenir il s'abstiendra de conduire sous l'influence de l'alcool et sans permis de conduire valable. La régularité de ses condamnations et l'absence de changement de comportement suffisent en l'espèce pour admettre un risque de récidive.
5.2. L'interdiction d'entrée en Suisse ne se justifie que si la pesée globale des intérêts à effectuer fait apparaître la mesure comme proportionnée (cf. art. 96 LEtr; <ref-ruling> consid. 6.5.1 p. 132; <ref-ruling> consid. 4.3 p. 381 s.).
A ce propos, l'autorité précédente a pris en considération tous les éléments imposés par la jurisprudence du Tribunal fédéral et de la Cour de justice de l'Union européenne pour procéder à la pesée des intérêts en rapport avec le risque de récidive concret prévu à l'<ref-law> ou avec la mesure d'interdiction d'entrée au sens de l'art. 67 LEtr et la durée de celle-ci. Elle a ainsi correctement considéré le fait que le recourant soit arrivé en Suisse à l'âge de 52 ans, l'activité délictueuse qu'il y a déployée, la nature des infractions commises, la durée des condamnations et la gravité des actes pénaux. L'autorité précédente a également pris en considération la persévérance dans la délinquance et a tenu compte de la durée et de la qualité du séjour légal en Suisse, des conséquences pour l'intéressé, divorcé et sans enfant, d'un départ de Suisse et de son intégration à l'étranger. Considérant l'ensemble de ces circonstances, le Tribunal administratif fédéral a retenu à juste titre que le recourant présentait un risque de récidive concret et, par là même, une menace actuelle pour l'ordre public tels que l'intérêt public à le maintenir éloigné de la Suisse jusqu'au 22 janvier 2020 l'emportait sur l'intérêt privé de celui-ci à pouvoir s'y rendre. Le résultat de la pesée des intérêts ainsi effectuée est correct.
On ajoutera encore que la jurisprudence de la Cour européenne des droit de l'homme, citée par le recourant, ne lui est d'aucune aide, celui-ci n'invoquant aucune violation de la CEDH. De plus, en tant qu'il fait référence à son mauvais état de santé qui l'empêcherait de retourner en France, le recourant se fonde sur un état de fait qui n'a pas été retenu par le Tribunal administratif fédéral. Se contentant de présenter ses vision et appréciation des faits de manière appellatoire, il n'y a pas à examiner plus avant ce grief (cf. consid. 2 ci-dessus).
6.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour III, ainsi qu'au Service de la population et des migrations du canton du Valais.
Lausanne, le 6 septembre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette