Faits : A. X._, ressortissant français né en 1973, a séjourné en Suisse durant une période indéterminée jusqu'en 1990, année durant laquelle, selon ses déclarations, il s'est "fait renvoyer" en raison d'une condamnation pour trafic de stupéfiants. En 2008, il a épousé une ressortissante japonaise, avec laquelle il a eu deux enfants (nés en 2008 et 2013). Entre 2009 et 2012, X._ a purgé une peine de prison de quatre ans en Argentine pour trafic de drogue. Le 17 février 2013, l'intéressé a annoncé son arrivée en Suisse et a été mis au bénéfice d'une autorisation de séjour UE/AELE. Son épouse et ses enfants ont quant à eux été mis au bénéfice d'autorisations de séjour UE/AELE au titre du regroupement familial. Le 1 er mai 2014, X._ a été appréhendé et placé en détention préventive. Par jugement du 18 février 2015, il a été condamné à 36 mois de peine privative de liberté avec sursis partiel durant cinq ans (douze mois fermes et 24 mois avec sursis) pour infraction grave et contravention à la LStup (RS 812.121). Alors qu'il était en détention, son épouse l'a quitté et est partie vivre au Japon avec ses enfants. Elle a demandé le divorce en 2014, celui-ci ayant été prononcé par les autorités japonaises en avril 2015. X._ a été remis en liberté le 27 avril 2015. B. Par décision du 25 février 2016, notifiée à l'intéressé le 31 mai 2016, le Service de la population du canton de Vaud (ci-après: le Service de la population) a révoqué l'autorisation de séjour UE/AELE de X._. Celui-ci a contesté ce prononcé auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) le 30 juin 2016. Par arrêt du 21 novembre 2016, le Tribunal cantonal a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, outre l'effet suspensif, d'annuler l'arrêt du Tribunal cantonal du 21 novembre 2016 et, implicitement, de maintenir son autorisation de séjour UE/AELE. Il se plaint de violation du droit fédéral et international, et en particulier de violation de son droit d'être entendu. Par ordonnance du 12 janvier 2017, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. Le Service de la population renonce à se déterminer. Le Tribunal cantonal conclut au rejet du recours.