Faits:
A.
A._, ressortissant portugais d'origine cap-verdienne né en 1967, est entré en Suisse le 15 mars 2007. Il a obtenu une autorisation de séjour au titre de l'exercice d'une activité salariée valable jusqu'au 30 septembre 2012. Son épouse, également de nationalité portugaise et d'origine cap-verdienne, et deux de leurs enfants ont obtenu des autorisations de séjour au titre du regroupement familial.
Après avoir été arrêté en Allemagne le 13 juillet 2010, A._ a été condamné le 24 janvier 2011 dans ce pays pour trafic de stupéfiants à une peine privative de liberté de trois ans et neuf mois. L'intéressé, accompagné d'un complice, avait tenté d'importer en Suisse, en passant par l'Allemagne, une quantité totale de 252 grammes de cocaïne ainsi que 1'819 pilules d'ecstasy provenant de Hollande. Cette marchandise avait été trouvée dans le coffre de son véhicule à l'occasion d'un contrôle douanier entre la Hollande et l'Allemagne. Pour fixer la peine de l'intéressé, les juges allemands ont en particulier tenu compte, d'une part, de son rôle prépondérant dans la prise de décision pour la commission de l'infraction, d'autre part, de son absence d'antécédents judiciaires et du fait qu'il était lui-même consommateur de cocaïne.
Le 17 mars 2011, le Service de la population du canton de Vaud a informé l'intéressé, par son épouse, qu'en raison de son incarcération en Allemagne, son autorisation de séjour avait pris fin. Après son retour en Suisse, le 26 septembre 2012, l'intéressé a requis l'octroi d'une autorisation de séjour. Sur le rapport d'arrivée, il a d'abord indiqué n'avoir fait l'objet d'aucune condamnation, ni en Suisse ni à l'étranger. Sur interpellation du Service de la population quant à un éventuel refus d'octroi d'autorisation de séjour, il a répondu, le 4 janvier 2013, avoir fait une fausse mention sur son rapport d'arrivée en raison d'un manque d'attention dû à ses mauvaises connaissances de la langue française.
Le 12 décembre 2012, l'intéressé a été condamné pour violation grave des règles de la circulation routière.
Par décision du 21 janvier 2013, le Service de la population a refusé d'octroyer une autorisation de séjour en faveur de l'intéressé et a prononcé son renvoi de Suisse. Un délai immédiat lui a été imparti pour quitter la Suisse.
L'intéressé a recouru contre cette décision le 4 mars 2013 auprès du Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Dans le cadre de la procédure devant les juges cantonaux, l'intéressé a produit trois contrats de travail d'une durée limitée à trois mois. Par ailleurs, lors d'une audience d'instruction, le 9 septembre 2013, l'intéressé et son épouse ont été entendus.
B.
Par arrêt du 31 octobre 2013, le Tribunal cantonal a admis le recours de l'intéressé et annulé la décision du Service de la population. Il a renvoyé le dossier à cette autorité pour qu'elle délivre une autorisation de séjour en faveur de A._. Il a jugé que la présence de l'intéressé en Suisse ne représentait pas une menace actuelle pour l'ordre public et que l'intérêt de celui-ci et de sa famille à la poursuite du séjour en Suisse était prépondérant. Il a ajouté qu'un refus d'autorisation de séjour constituerait en particulier une atteinte à la protection de la vie familiale au sens de l'art. 8 CEDH.
C.
Agissant par la voie du recours en matière de droit public, l'Office fédéral des migrations (ci-après: l'Office fédéral) demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt du Tribunal cantonal du 31 octobre 2013. Il se plaint d'une violation des art. 63 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), 5 al. 1 annexe I de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (Accord sur la libre circulation des personnes, ALCP; RS 0.142.112.681) et 8 par. 2 CEDH.
Le Service de la population déclare adhérer aux considérations émises par l'Office fédéral. L'intimé et le Tribunal cantonal concluent tous deux au rejet du recours.

Considérant en droit:
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 103).
1.1. Le recours est dirigé contre un jugement final (cf. <ref-law>) rendu dans une cause de droit public (cf. <ref-law>) par un tribunal cantonal supérieur (cf. art. 86 al. 1 let. d et al. 2 LTF).
1.2. En vertu de l'art. 14 al. 2 de l'ordonnance fédérale du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (Org DFJP; RS 172.213.1), l'Office fédéral a qualité pour recourir devant le Tribunal fédéral (cf. <ref-law>), dans le domaine du droit des étrangers, contre des décisions cantonales de dernière instance (<ref-ruling> consid. 2.1 p. 46; arrêt 2C_234/2010 du 11 juillet 2011 consid. 1.1).
1.3. En sa qualité de ressortissant portugais, l'intimé peut prétendre à un titre de séjour en Suisse, en vertu de l'ALCP (<ref-ruling> consid. 1.1 p. 179; <ref-ruling> consid. 4 p. 258 ss). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>. Partant, la voie du recours en matière de droit public est ouverte.
2.
Aux termes de l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause, ce que le recourant doit démontrer conformément aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF (ATF <ref-ruling> consid. 3 p. 104), faute de quoi il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué.
En l'occurrence, dans la mesure où la version des faits que le recourant donne dans son mémoire s'écarte et complète les faits constatés dans l'arrêt attaqué, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, elle est irrecevable.
3.
3.1. Aux termes de son art. 2 al. 2, la LEtr n'est applicable aux ressortissants des Etats membres de la Communauté européenne, aux membres de leur famille et aux travailleurs détachés par un employeur ayant son siège ou son domicile dans un de ces Etats que dans la mesure où l'ALCP n'en dispose pas autrement ou lorsque ladite loi contient des dispositions plus favorables.
3.2. Il ressort des faits retenus par l'instance précédente que l'intimé était au bénéfice d'une autorisation de séjour UE/AELE valable jusqu'au 30 septembre 2012. Compte tenu de son arrestation le 13 juillet 2010 en Allemagne et de son retour en Suisse le 26 septembre 2012, l'intimé était manifestement absent de Suisse durant plus de six mois. Or, à teneur de l'art. 61 al. 2 LEtr, si un étranger quitte la Suisse sans déclarer son départ, l'autorisation de courte durée prend automatiquement fin après trois mois, l'autorisation de séjour ou d'établissement après six mois. Ainsi, et comme l'a également retenu le Service de la population, l'intimé n'était plus titulaire d'aucune autorisation de séjour lors de son retour en Suisse. Il convient à ce propos de mentionner que l'<ref-law>, selon lequel les interruptions de séjour ne dépassant pas six mois consécutifs ainsi que les absences motivées par l'accomplissement d'obligations militaires n'affectent pas la validité du titre de séjour, prévoit, pour la présente cause, une réglementation semblable à celle de la LEtr, raison pour laquelle c'est cette dernière qui trouve application (cf. consid. 3.1 supra; Gächter/Tremp, in Bundesgesetz über die Ausländerinnen und Ausländer [AuG], 2010, n° 15 ad art. 2 LEtr). Compte tenu de ce qui précède, la présente procédure porte donc exclusivement sur l'octroi d'une autorisation de séjour, et non pas sur un renouvellement ou une révocation.
Les faits retenus par l'autorité précédente ne permettent pas de déterminer si, à son retour d'Allemagne, l'intimé a requis l'octroi d'une autorisation de séjour en tant que travailleur salarié, indépendant, comme personne n'exerçant pas une activité économique ou au titre du regroupement familial (la décision du Service de la population faisant état de " refus d'octroi d'une quelconque autorisation de séjour "). Néanmoins, quel que soit le type d'autorisation de séjour sollicité, il faut constater que l'ALCP contient des dispositions plus favorables que la LEtr, notamment en raison du fait que l'intimé peut prétendre à une autorisation de séjour UE/AELE, que celle-ci est octroyée au moins pour une durée de cinq ans (cf. art. 6 al. 1, 12 al. 1 et 24 al. 1 annexe I ALCP) et que les possibilités de révocation sont plus limitées (cf. consid. 3.3 ci-dessous). Ce sont dès lors exclusivement les dispositions de l'Accord sur la libre circulation des personnes qui s'appliquent (cf. consid. 3.1 ci-dessus).
3.3. Comme l'ensemble des droits octroyés par l'ALCP, le droit de séjourner en Suisse ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law>, dont le cadre et les modalités sont définis en particulier par la directive 64/221/CEE, ainsi que par la jurisprudence y relative de la Cour de justice des Communautés européennes, devenue la Cour de justice de l'Union européenne (ci-après: la Cour de Justice), rendue avant la signature de l'Accord le 21 juin 1999 (cf. <ref-law> en relation avec l'<ref-law>; au sujet de la prise en considération des arrêts de la Cour de Justice postérieurs à cette date, cf. <ref-ruling> consid. 5.3 p. 125 s. et les références citées).
Conformément à la jurisprudence rendue en rapport avec l'<ref-law>, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d' "ordre public " pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). La seule existence d'antécédents pénaux ne permet donc pas de conclure (automatiquement) que l'étranger constitue une menace suffisamment grave pour l'ordre et la sécurité publics. Il faut procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle et d'une certaine gravité pour l'ordre public (cf. <ref-ruling> consid. 5.3 p. 125 s. et les références citées). Il n'est pas nécessaire d'établir avec certitude que l'étranger commettra d'autres infractions à l'avenir pour prendre une mesure d'éloignement à son encontre; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. En réalité, ce risque ne doit pas être admis trop facilement et il faut l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier au regard de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). A cet égard, le Tribunal fédéral se montre particulièrement rigoureux en présence d'infractions à la législation fédérale sur les stupéfiants (cf. 139 II 121 consid. 5.3 p. 125 s. et les références citées), étant précisé que la commission d'infractions qui sont en étroite relation avec la toxicomanie du délinquant peuvent, selon les circonstances, atténuer cette position de principe (139 II 121 consid. 5.3 p. 125 s. et les références citées).
4.
4.1. En l'espèce, l'intimé a été condamné, en 2011 en Allemagne, à une peine privative de liberté de trois ans et neuf mois portant sur un trafic de stupéfiants. Celui-ci avait tenté, en juillet 2010, d'importer vers la Suisse une quantité totale de 252 grammes de cocaïne et de 1'819 pilules d'ecstasy. L'intimé a également été condamné, en 2012 en Suisse, pour une violation grave des règles de la circulation routière à 25 jours-amende avec sursis pour avoir roulé à 87 km/h dans une zone limitée à 50 km/h, le 29 septembre 2012. L'intimé n'a fait l'objet d'aucune autre condamnation pénale.
4.2. Il faut d'emblée relever que l'infraction pour laquelle l'intimé a été condamné en Allemagne doit être considérée, du point de vue du droit suisse, comme un cas grave au sens de l'<ref-law>, puisque 18 grammes de cocaïne pure suffisent déjà à cela (<ref-ruling> consid. 2a p. 363; <ref-ruling> consid. 3b p. 144 s.; arrêt 6B_579/2013 du 20 février 2014 consid. 3.4; cf. également Peter Albrecht, Die Strafbestimmungen des Betäubungsmittelgesetzes [Art. 19-28 BetmG], 2007, n° 213 ad <ref-law>). Par ailleurs, même si en comparaison elle peut paraître moins importante, l'infraction à la LCR doit aussi être qualifiée de grave. En effet, selon la jurisprudence, le cas est objectivement grave, c'est-à-dire sans égard aux circonstances concrètes, lorsque la vitesse autorisée est dépassée de 25 km/h ou plus à l'intérieur des localités (<ref-ruling> consid. 3.2 p. 238 s.). En dépassant de 37 km/h la vitesse autorisée dans une zone limité à 50 km/h, l'intimé a donc gravement violé les règles de la circulation routière et mis en danger sa vie et celle des autres usagers de la route.
4.3. La peine infligée en Allemagne à l'intimé est d'une gravité telle qu'elle aurait dû revêtir, aux yeux de celui-ci, un réel avertissement et l'inciter à ne pas persister dans la commission d'infractions. Or, il n'en a tiré aucune leçon puisque, trois jours après son retour en Suisse, l'intimé a commis une nouvelle infraction grave, cette fois à la LCR. Il faut ainsi reconnaître qu'il fait preuve d'une propension certaine à transgresser la loi en même temps qu'une incapacité à s'amender. Il n'est donc pas possible, comme l'a fait le Tribunal cantonal, d'affirmer que depuis sa condamnation en Allemagne, l'intimé semble avoir compris la gravité de ses actes. Le fait qu'il ait prétendument cessé toute consommation de cocaïne n'est ici pas déterminant au vu des infractions commises.
L'attitude désinvolte de l'intimé vis-à-vis du respect de l'ordre public est encore confirmée par les fausses déclarations effectuées lors de son retour en Suisse. Les explications de l'intimé sur ce point, c'est-à-dire son manque d'attention, sa méconnaissance du français et le fait que l'autorité ait été au courant de sa condamnation en Allemagne, ne convainquent pas.
4.4. Au regard de l'ensemble de ces circonstances, comme le relève à juste titre l'Office fédéral, l'arrêt querellé consacre une appréciation contraire à la pratique relative à l'<ref-law> du risque actuel pour l'ordre public suisse que représente l'intimé. Compte tenu de la gravité de l'infraction commise et de la nouvelle infraction perpétrée dès sa libération, l'intimé tombe sous le coup de l'<ref-law>.
5.
L'Office fédéral fait valoir en outre que le refus d'autorisation de séjour respecte les conditions de l'art. 8 par. 2 CEDH, contrairement à ce qu'a jugé l'instance précédente.
5.1. L'art. 8 par. 1 CEDH dispose que toute personne a droit au respect de sa vie privée et familiale, de son domicile et de sa correspondance. Le droit au respect de la vie privée et familiale garanti par cette disposition n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. Le refus de prolonger une autorisation de séjour fondé sur l'art. 8 par. 2 CEDH suppose une pesée des intérêts en présence et l'examen de la proportionnalité de la mesure (cf. <ref-ruling> consid. 2.2 p. 147 s.; <ref-ruling> consid. 4.3 p. 381). Pour apprécier ce qui est équitable, l'autorité doit notamment tenir compte de la gravité de la faute commise par l'étranger, de la durée de son séjour en Suisse et du préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion, respectivement du refus d'accorder ou de prolonger une autorisation de séjour. Normalement, en cas de peine d'au moins deux ans de détention, l'intérêt public à l'éloignement l'emporte sur l'intérêt privé - et celui de sa famille - à pouvoir rester en Suisse (cf. <ref-ruling> consid. 2.3 p. 148 s.; <ref-ruling> consid. 4.3 et 4.4 p. 381 s.; <ref-ruling> consid. 4.1 p. 185).
5.2. En l'occurrence, l'intimé a été condamné à une lourde peine de trois ans et neuf mois qui excède la limite de deux ans sous l'angle de l'art. 8 par. 2 CEDH consacrée par la pratique. De plus, même qu'il savait que son statut en Suisse serait discuté à son retour d'Allemagne, l'intimé n'a pas hésité à enfreindre à nouveau la loi. Dès lors, le risque de récidive, quoi qu'en dise l'intimé, est bien réel. Son incapacité à respecter les règles le démontre (cf. consid. 4.4 ci-dessus). Il existe ainsi un intérêt public à son éloignement.
Par conséquent, seules des circonstances exceptionnelles permettraient de faire pencher la balance des intérêts en faveur de l'octroi d'une autorisation de séjour à l'intimé.
5.3. Sous cet angle, force est de constater que l'intimé a passé une très grande partie de sa vie dans son pays d'origine, n'est arrivé en Suisse qu'en 2007 et que depuis lors, il a passé deux ans en détention en Allemagne. Cela signifie qu'il n'a guère vécu plus de quatre ans en Suisse et qu'un retour au Portugal n'est, de ce point de vue, pas insurmontable. De plus, sa langue maternelle est le portugais et d'autres membres de sa famille, soit en l'occurrence ses enfants majeurs, se trouvent dans son pays d'origine. A cela s'ajoute que l'intégration socio-professionnelle de l'intimé en Suisse ne semble pas particulièrement poussée, de sorte qu'il ne perdrait aucun acquis professionnel particulier, ni aucun statut social qu'il aurait réussi à construire depuis son arrivée en Suisse en cas de retour au Portugal. Les activités invoquées, qu'elles soient professionnelles ou sociales, ne suffisent pas à retenir le contraire.
S'agissant finalement des autres membres de sa famille vivant avec lui, c'est-à-dire sa femme et trois de ses enfants, tous de nationalité portugaise, ils ont le choix de rester en Suisse ou de suivre l'intimé au Portugal. Dans la première hypothèse, au vu de leur situation stable, notamment de l'activité professionnelle de la femme de l'intimé, ils pourraient continuer leurs activités respectives et rester autonomes. Ils auraient également la possibilité de rencontrer régulièrement l'intimé, que ce soit lors de séjours au Portugal, ou des visites de celui-ci en Suisse. D'un autre côté, un retour au Portugal, leur pays d'origine, ne serait pas inexigible (cf. arrêt de la CourEDH Palanci c. Suisse du 25 mars 2014 § 61). Ils pourraient s'acclimater rapidement à la nouvelle situation, dès lors que tous les membres de la famille maîtrisent le portugais et séjourneraient dans l'Etat dans lequel ils ont vécu jusqu'en 2007. De plus, ils y retrouveraient le reste de leur famille.
5.4. Ainsi, dans l'appréciation globale des circonstances du cas, l'intérêt public à l'éloignement de l'intimé l'emporte sur son intérêt privé à rester en Suisse. Sous l'angle de la proportionnalité également, l'arrêt attaqué ne peut être suivi.
6.
Sur le vu de ce qui précède, le recours doit être admis dans la mesure où il est recevable et l'arrêt attaqué annulé. La décision du Service de la population du 21 janvier 2013 est confirmée. Succombant, l'intimé doit supporter les frais judiciaires (<ref-law>). Aucuns dépens ne sera alloué (art. 68 al. 1 et 3 LTF). La cause sera en outre renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure antérieure (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis dans la mesure où il est recevable. L'arrêt du Tribunal cantonal est annulé et la décision du Service de la population du canton de Vaud confirmée.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
3.
La cause est renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure antérieure.
4.
Le présent arrêt est communiqué à l'Office fédéral des migrations, au mandataire de l'intimé, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 17 avril 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Seiler
Le Greffier: Tissot-Daguette