Faits :
A.
X._, ressortissant français né en 1973, a séjourné en Suisse durant une période indéterminée jusqu'en 1990, année durant laquelle, selon ses déclarations, il s'est "fait renvoyer" en raison d'une condamnation pour trafic de stupéfiants. En 2008, il a épousé une ressortissante japonaise, avec laquelle il a eu deux enfants (nés en 2008 et 2013). Entre 2009 et 2012, X._ a purgé une peine de prison de quatre ans en Argentine pour trafic de drogue. Le 17 février 2013, l'intéressé a annoncé son arrivée en Suisse et a été mis au bénéfice d'une autorisation de séjour UE/AELE. Son épouse et ses enfants ont quant à eux été mis au bénéfice d'autorisations de séjour UE/AELE au titre du regroupement familial.
Le 1 er mai 2014, X._ a été appréhendé et placé en détention préventive. Par jugement du 18 février 2015, il a été condamné à 36 mois de peine privative de liberté avec sursis partiel durant cinq ans (douze mois fermes et 24 mois avec sursis) pour infraction grave et contravention à la LStup (RS 812.121). Alors qu'il était en détention, son épouse l'a quitté et est partie vivre au Japon avec ses enfants. Elle a demandé le divorce en 2014, celui-ci ayant été prononcé par les autorités japonaises en avril 2015. X._ a été remis en liberté le 27 avril 2015.
B.
Par décision du 25 février 2016, notifiée à l'intéressé le 31 mai 2016, le Service de la population du canton de Vaud (ci-après: le Service de la population) a révoqué l'autorisation de séjour UE/AELE de X._. Celui-ci a contesté ce prononcé auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) le 30 juin 2016. Par arrêt du 21 novembre 2016, le Tribunal cantonal a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, outre l'effet suspensif, d'annuler l'arrêt du Tribunal cantonal du 21 novembre 2016 et, implicitement, de maintenir son autorisation de séjour UE/AELE. Il se plaint de violation du droit fédéral et international, et en particulier de violation de son droit d'être entendu.
Par ordonnance du 12 janvier 2017, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Service de la population renonce à se déterminer. Le Tribunal cantonal conclut au rejet du recours.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 332; <ref-ruling> consid. 1.1 p. 179 s.). En l'occurrence, en sa qualité de ressortissant français, le recourant peut en principe prétendre à un titre de séjour en Suisse, en vertu de l'ALCP (RS 0.142.112.681; cf. ATF <ref-ruling> consid. 1.1 p. 179 s. et les références citées). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>. Partant, la voie du recours en matière de droit public est ouverte.
1.2. Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Il statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 313 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 233 s.). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>).
3.
Le recourant se plaint de la violation de son droit d'être entendu en ce que le Tribunal cantonal n'aurait pas administré certains moyens de preuve proposés. Il convient d'examiner en premier lieu ce grief d'ordre formel (<ref-ruling> consid. 5.1 p. 390).
3.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 222 s. et les références citées). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 298 s. et les références citées).
3.2. Le recourant explique avoir requis du Tribunal cantonal de l'entendre personnellement, afin notamment de prouver ses attachements à la Suisse. Dans ce but, il a également demandé l'audition de son oncle, sa tante, sa cousine et son amie. Il a en outre offert à l'autorité précédente de prouver son abstinence à toute drogue, le fait qu'il s'acquittait de ses dettes et la réussite de sa réinsertion sociale. Pour sa part, le Tribunal cantonal n'a en particulier pas fait mention des demandes d'audition personnelle et de celles des divers témoins.
3.3. Le recourant méconnaît tout d'abord que les garanties minimales en matière de droit d'être entendu découlant de l'art. 29 al. 2 Cst. ne comprennent en principe pas le droit d'être entendu oralement (<ref-ruling> consid. 9.6.1 p. 76 et les références citées). Le droit cantonal peut certes, selon les cas, offrir une protection plus étendue aux justiciables (cf. <ref-ruling> consid. 2.4.2.1 p. 95 s. a contrario; arrêt 2D_32/2010 du 8 octobre 2010 consid. 3.1). Le recourant ne fait toutefois pas valoir que cela serait le cas en l'espèce.
3.4. Ensuite, si l'on peut regretter que le Tribunal cantonal n'ait pas relevé les demandes de preuve formulées, certes de manière équivoque, dans le mémoire de recours déposé devant lui par le recourant, il n'en demeure pas moins que, par sa motivation, on comprend aisément qu'il a implicitement procédé à une appréciation anticipée de ces moyens de preuve. Il a ainsi expliqué que " s'agissant de sa situation personnelle, le recourant n'a pas démontré ne faire l'objet d'aucune poursuite. Bien qu'il a déclaré fournir dès que possible un extrait de l'Office des poursuites, il n'a l'a pas produit à ce jour. Il en va de même des frais judiciaires de la procédure pénale; même s'il a proposé un plan de paiement échelonné, le recourant n'a produit aucune pièce qui établit leur versement. A supposer que ces faits soient prouvés, il n'en demeure pas moins que le recourant n'est au bénéfice d'aucun contrat de travail à durée indéterminée, remplissant ponctuellement quelques missions auprès de différentes entreprises par l'intermédiaire d'une agence de placement. Enfin, sur le plan familial, l'ex-épouse du recourant et ses enfants se trouvent au Japon. Bien que, selon ses dires, il remplisse ses obligations découlant du divorce, il n'a en Suisse ni famille ni attache, hormis une compagne chez qui il vit ". On constate donc que l'autorité précédente a implicitement considéré les moyens de preuve offerts comme n'étant pas déterminant pour statuer sur la révocation de l'autorisation de séjour UE/AELE du recourant. Elle n'a en outre pas retenu à la charge du recourant sa consommation de drogue et on ne voit pas ce qu'une audition des témoins proposés aurait pu apporter de plus à la procédure. Le recourant s'en prend plutôt à la façon dont l'autorité précédente a considéré ces faits dans l'examen du droit. Cette question sera traitée ci-après.
3.5. Le Tribunal cantonal n'a par conséquent pas violé le droit d'être entendu du recourant, ni apprécié arbitrairement les faits en n'administrant pas les moyens de preuve proposés par celui-ci. Ce dernier n'expose au demeurant pas en quoi les conditions de l'<ref-law> seraient réunies (cf. consid. 2 ci-dessus), mais relève au contraire se référer intégralement aux éléments de fait tels qu'ils figurent dans l'arrêt entrepris.
4.
Le recourant se prévaut en définitive d'une violation de l'art. 62 LEtr (RS 142.20) et, implicitement, des art. 96 al. 1 LEtr et 5 annexe I ALCP.
4.1. Le Tribunal cantonal a correctement présenté le droit applicable (art. 2 al. 2, 62 al. 1 let. b LEtr, 5 al. 1 annexe I ALCP) et la jurisprudence topique, relative notamment à la peine privative de liberté de longue durée (<ref-ruling> consid. 2.1 p. 18 s.) et à la notion d'ordre public (<ref-ruling> consid. 5.3 p. 125 s.), de sorte qu'il y est renvoyé.
4.2. En premier lieu, contrairement à ce que semble penser le recourant, la condamnation de celui-ci à 36 mois de peine privative de liberté, malgré le fait que cette sanction ait été prononcée avec un sursis partiel, remplit la condition de la peine de longue durée de l'art. 62 al. 1 let. b LEtr (<ref-ruling> consid. 2.1 p. 18 s.).
4.3. S'agissant des raisons d'ordre public prévues par l'<ref-law>, il ressort de l'arrêt entrepris que le recourant, avant d'être condamné le 18 février 2015 à 36 mois de peine privative de liberté pour infraction grave et contravention à la LStup, avait déjà été condamné en 2009, en Argentine, à quatre ans de prison pour trafic de cocaïne et en 1990, en Suisse, à une peine indéterminée pour trafic de haschich et d'ecstasies (ce qui avait justifié son renvoi de Suisse). L'autorité précédente a encore retenu, de manière à lier le Tribunal fédéral, que la culpabilité du recourant lors de sa condamnation de 2015 était lourde, celui-ci, qui a importé en Suisse 118 g de cocaïne présentant un taux de pureté d'au moins 85%, ayant agi par appât du gain et sans nécessité.
On relèvera d'emblée que le recourant ne peut pas se prévaloir de son " bon comportement depuis [sa] sortie de prison " car, compte tenu du contrôle étroit que les autorités pénales exercent sur un détenu au cours de la période d'exécution de sa peine, on ne saurait tirer des conclusions déterminantes de son attitude, du point de vue du droit des étrangers, afin d'évaluer sa dangerosité une fois en liberté. Il en va de même quant à la période de libération conditionnelle, étant donné qu'une récidive conduirait probablement à la révocation de ce régime (<ref-ruling> consid. 5.5.2 p. 127 s.; arrêt 2C_139/2014 du 4 juillet 2014 consid. 4.4).
Le comportement du recourant démontre bien plus une incompétence à se conformer au système juridique. Dès sa peine en Argentine purgée, le recourant est revenu en Suisse et a directement recommencé à s'adonner au trafic de stupéfiants, dans des quantités très importantes, mettant ainsi en danger la vie d'un grand nombre de personnes. Toutes ses condamnations ont été prononcées pour des infractions envers lesquelles le Tribunal fédéral se montre particulièrement rigoureux (<ref-ruling> consid. 5.3 p. 125 s.). Le recourant n'a aucunement saisi la gravité de ses actes et ne semble nullement disposé à respecter l'ordre juridique. Sa situation personnelle et professionnelle ne permettent pas d'atténuer le risque qu'il représente. Contrairement à ce qu'il affirme, il n'a pas démontré une bonne intégration en Suisse, des rapports avec son oncle, sa tante, sa cousine et une fiancée, si on les admet, n'étant pas suffisants. De plus, il faut relever qu'il a perçu l'aide sociale et, s'il affirme ne pas avoir fait l'objet de poursuites, il ne l'a toutefois jamais prouvé, alors qu'il en a eu l'occasion. Sur le plan professionnel, le Tribunal cantonal a retenu que le recourant n'était au bénéfice d'aucun contrat de travail à durée déterminée. Le fait que, dans son recours au Tribunal fédéral, le recourant ait affirmé avoir un emploi d'indépendant ne change rien à l'absence d'intégration.
4.4. Il ne saurait en outre être question de ne pas confirmer la proportionnalité de la mesure (art. 96 al. 1 LEtr). Tout d'abord, on rappellera que ses enfants se trouvent au Japon. S'il faut admettre que l'oncle, la tante et la cousine du recourant résident en Suisse, il ne s'agit-là que de famille relativement éloignée, avec laquelle il ne saurait d'emblée prétendre entretenir des relations étroites. Il ne l'invoque d'ailleurs pas. Le recourant est Français et habite actuellement dans la région genevoise. Il est donc tout à fait possible pour sa nouvelle compagne de le suivre en France, dans une ville proche de Genève, et de continuer de vivre une vie de couple, voire même de travailler en Suisse. Le cas échéant, le recourant pourra également revenir en Suisse rendre visite à son oncle, sa tante et sa cousine. On ajoutera que le recourant est dans un âge qui lui permet facilement de s'intégrer et de s'habituer à un nouvel environnement en France, pays où il pourra de surcroît continuer son activité d'indépendant ou chercher un emploi salarié.
4.5. En conclusion, l'autorité précédente a pris en considération tous les éléments imposés par la jurisprudence du Tribunal fédéral pour procéder à la pesée des intérêts, que ce soit en rapport avec le risque de récidive concret prévu à l'<ref-law> ou avec les conditions posées au pouvoir d'appréciation prévues à l'art. 96 al. 1 LEtr. Elle a ainsi correctement considéré le fait que le recourant soit arrivé en Suisse en 2013, l'activité délictueuse qu'il y a déployée, la nature des infractions commises, la durée des condamnations et la gravité des actes pénaux. L'autorité précédente a également pris en considération le but poursuivi par celui-ci, le comportement qu'il a adopté lors de la procédure pénale, sa persévérance dans la délinquance, le fait qu'il soit actuellement en sursis, ainsi que sa situation financière. Le Tribunal cantonal a finalement encore notamment tenu compte des conséquences pour l'intéressé et sa compagne d'un départ de Suisse et des possibilités d'intégration à l'étranger. Considérant l'ensemble de ces circonstances, le Tribunal cantonal a retenu à juste titre que le recourant présentait un risque de récidive concret et, par là même, une menace actuelle pour l'ordre public, de sorte à justifier la limitation de son droit à la libre circulation. En outre, on ne saurait reprocher à l'autorité précédente d'avoir considéré que l'intérêt public à maintenir le recourant éloigné de la Suisse l'emportait sur l'intérêt privé de celui-ci. Le résultat de la pesée des intérêts ainsi effectuée est correct.
5.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 8 juin 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette