Faits :
A.
X._, ressortissant serbe né en 1988, s'est marié dans son pays d'origine avec une compatriote, née en 1986 et au bénéfice d'une autorisation d'établissement en Suisse. Le 24 juin 2010, l'intéressé est entré en Suisse et le 29 juin 2010, il a été mis au bénéfice d'une autorisation de séjour au titre de regroupement familial. Les époux ont eu un fils, né en 2011.
Les 26 avril et 6 août 2012, X._ a été condamné à deux fois 20 jours-amende pour des voies de fait, respectivement des voies de fait, des injures et des menaces à l'encontre de son épouse. Le 23 avril 2013, dans le cadre de mesures protectrices de l'union conjugale, l'autorité judiciaire compétente a pris acte de la suspension de la vie commune du couple avec effet au 28 mars 2013. La garde de l'enfant a été confiée à la mère, le père n'obtenant qu'un droit de visite. Le divorce a été prononcé le 31 août 2015, l'autorité parentale et la garde de l'enfant ayant été confiées à la mère. Par décision du 15 mars 2016, l'autorité de protection de l'enfant et de l'adulte compétente a mis en place une curatelle éducative aux fins de soutenir l'ex-épouse de l'intéressé dans son rôle de mère.
Précédemment, le 8 octobre 2015, le Service de la population du canton de Vaud (ci-après: le Service de la population) s'est déclaré favorable à l'octroi ( recte la prolongation) de l'autorisation de séjour de X._.
B.
Par décision du 23 juin 2016, le Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) a refusé d'approuver la prolongation de l'autorisation de séjour de X._. Celui-ci, par acte du 24 août 2016, a contesté ce prononcé auprès du Tribunal administratif fédéral. Par arrêt du 20 novembre 2017, cette autorité a rejeté le recours de X._.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du Tribunal administratif fédéral du 20 novembre 2017 et la décision du Secrétariat d'Etat du 23 juin 2016; subsidiairement d'annuler les décisions précitées et de renvoyer la cause au Secrétariat d'Etat, afin que celui-ci modifie sa décision dans le sens des considérants. Il se plaint de violation du droit fédéral et international.
Par ordonnance du 11 janvier 2018, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Tribunal administratif fédéral renonce à se déterminer. Le Secrétariat d'Etat conclut au rejet du recours. Dans des observations finales, X._ a confirmé ses conclusions.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il suffit toutefois qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 332). En l'occurrence, du moment que le recourant est divorcé d'une ressortissante serbe au bénéfice d'une autorisation d'établissement en Suisse avec laquelle il a eu un enfant, les art. 50 LEtr (RS 142.20) et 8 CEDH sont potentiellement de nature à lui conférer un droit à une autorisation de séjour, de sorte que la voie du recours en matière de droit public est ouverte.
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue par le Tribunal administratif fédéral (<ref-law>) dans une cause de droit public (<ref-law>). Le recours ayant de surcroît été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>), par le recourant qui est atteint par la décision entreprise et a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (<ref-law>), il est partant recevable, sous réserve de ce qui suit.
1.3. Dans la mesure où le recourant demande l'annulation de la décision du Secrétariat d'Etat du 23 juin 2016, sa conclusion est irrecevable en raison de l'effet dévolutif complet du recours déposé auprès du Tribunal administratif fédéral (<ref-ruling> consid. 1.2 p. 543).
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
En l'occurrence, le recourant ne conteste pas à suffisance l'appréciation des faits effectuée par le Tribunal administratif fédéral. Par conséquent, dans la mesure où il faudrait retenir qu'il se plaint d'une mauvaise appréciation des preuves, notamment en relation avec la décision du 15 mars 2016 de l'autorité de protection de l'enfant et de l'adulte, son grief devrait être écarté. Le Tribunal fédéral vérifiera donc la correcte application du droit sur la seule base des faits retenus par l'autorité précédente.
3.
3.1. Aux termes de l'art. 43 al. 1 LEtr, le conjoint étranger d'un titulaire d'une autorisation d'établissement ainsi que ses enfants célibataires de moins de 18 ans ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. En l'espèce, le recourant est divorcé d'une personne au bénéfice d'une autorisation d'établissement en Suisse. Il ne peut donc se prévaloir de l'art. 43 LEtr.
3.2. Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et l'intégration est réussie. La période minimale de trois ans de l'union conjugale commence à courir dès le début de la cohabitation effective des époux en Suisse et s'achève au moment où ceux-ci cessent de faire ménage commun. Seules les années de mariage et non de concubinage sont pertinentes (<ref-ruling> consid. 4.1 p. 348). En l'espèce, le recourant s'est marié en Serbie le 1 er février 2010 avec une compatriote au bénéfice d'une autorisation d'établissement en Suisse. Le couple ne s'est toutefois installé dans ce pays que le 24 juin 2010 et s'est séparé le 28 mars 2013, si bien que l'union conjugale, au sens de la jurisprudence précitée, a duré moins de trois ans. Partant, le recourant ne peut se prévaloir de l'art. 50 al. 1 let. a LEtr. La condition de l'intégration réussie étant cumulative avec celle de la durée de l'union conjugale (<ref-ruling> consid. 4 p. 347 s.), les explications du recourant à ce propos sont sans pertinence.
4.
Il convient par conséquent d'examiner dans quelle mesure la poursuite du séjour du recourant en Suisse s'impose pour des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr.
4.1. Selon l'art. 50 al. 1 let. b LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste lorsque la poursuite du séjour du recourant en Suisse s'impose pour des raisons personnelles majeures. De telles raisons peuvent en particulier découler d'une relation digne de protection avec un enfant qui a le droit de séjourner en Suisse (cf. <ref-ruling> consid. 2.1 p. 319). Dans ce cas, les conditions posées par l'art. 50 al. 1 let. b LEtr ne recoupent pas nécessairement celles de l'octroi d'un titre de séjour fondé sur l'art. 8 CEDH. Le droit au respect de la vie familiale garantie par les art. 8 CEDH et 13 Cst. doit néanmoins être pris en compte dans l'application de l'art. 50 al. 1 let. b LEtr dont l'application ne saurait être plus restrictive que celle des art. 8 CEDH et 13 Cst. (arrêt 2C_652/2013 du 17 décembre 2013 consid. 2.3 et les références citées, non publié in <ref-ruling>).
4.2. Il convient en premier lieu de mentionner que l'arrêt de la Cour européenne des droits de l'homme du 16 avril 2013 Udeh contre Suisse auquel fait référence le recourant n'énonce aucun principe nouveau et que sa portée a été fortement relativisée par le Tribunal fédéral (<ref-ruling> consid. 2.4 p. 327 ss; arrêt 2C_280/2014 du 22 août 2014 consid. 4.7). Pour autant qu'il entend en déduire un droit, cet arrêt ne lui est d'aucun secours en l'espèce.
4.3. Selon la jurisprudence, le parent qui n'a pas l'autorité parentale ni la garde de l'enfant ne peut d'emblée entretenir une relation familiale avec celui-ci que de manière limitée, en exerçant le droit de visite dont il bénéficie. Or, il n'est en principe pas nécessaire que, dans l'optique de pouvoir exercer son droit de visite, le parent étranger soit habilité à résider durablement dans le même pays que son enfant. Sous l'angle du droit à une vie familiale (cf. art. 8 par. 1 CEDH), il suffit en règle générale que le parent vivant à l'étranger exerce son droit de visite dans le cadre de séjours brefs, au besoin en aménageant ses modalités quant à la fréquence et à la durée. Le droit de visite d'un parent sur son enfant ne doit en effet pas nécessairement s'exercer à un rythme bimensuel et peut également être organisé de manière à être compatible avec des séjours dans des pays différents (cf. <ref-ruling> consid. 3.2 p. 147). Un droit plus étendu ne peut le cas échéant exister qu'en présence de liens familiaux particulièrement forts d'un point de vue affectif et économique, lorsque cette relation ne pourrait pratiquement pas être maintenue en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent, et que l'étranger a fait preuve en Suisse d'un comportement irréprochable (cf. <ref-ruling> consid. 5.2 p. 27 et les références citées). Ces exigences doivent être appréciées ensemble et faire l'objet d'une pesée des intérêts globale. Dans le cadre de l'examen de la proportionnalité de la mesure (cf. art. 8 par. 2 CEDH), il faut aussi tenir compte de l'intérêt fondamental de l'enfant (art. 3 de la Convention relative aux droits de l'enfant [CDE; RS 0.107]) à pouvoir grandir en jouissant d'un contact étroit avec ses deux parents, étant précisé que, sous l'angle du droit des étrangers, cet élément n'est pas prépondérant par rapport aux autres et que l'art. 3 CDE ne saurait fonder une prétention directe à l'octroi ou au maintien d'une autorisation (arrêt 2C_821/2016 du 2 février 2018 consid. 5.2, destiné à la publication).
4.4. Il ressort de l'arrêt entrepris que le recourant n'a ni la garde, ni l'autorité parentale sur son fils. Il bénéficie cependant d'un droit de visite qu'il exerce un week-end sur deux, mais pas pendant les vacances scolaires. Ce droit de visite, qui était précédemment moins large, résulte d'une mesure de curatelle éducative, prononcée le 15 mars 2016, visant à soutenir l'ancienne épouse du recourant dans son rôle de mère. Le recourant ne conteste pas l'appréciation de l'autorité précédente quant au fait que son droit de visite ne constitue pas un droit de visite usuel. Il estime cependant que c'est en raison du refus catégorique de la mère de son fils qu'il ne peut se prévaloir d'un droit de visite usuel et que les rapports de l'autorité de protection de l'enfant et de l'adulte attestent d'un lien affectif concrets avec son enfant.
En l'occurrence, dans la mesure où le recourant conteste en réalité l'appréciation des preuves effectuée par le Tribunal administratif fédéral, il ne saurait être suivi, son grief à ce propos n'étant pas motivé à suffisance (cf. consid. 2 ci-dessus). Il n'a notamment pas démontré en quoi les rapports de l'autorité de protection de l'enfant et de l'adulte qu'il cite auraient une quelconque incidence concrète sur l'issue de la cause. En outre, on ajoutera que le lien affectif particulièrement fort est tenu pour établi lorsque les contacts personnels sont effectivement exercés dans le cadre d'un droit de visite usuel selon les standards d'aujourd'hui (un week-end toutes les deux semaines et durant la moitié des vacances); seuls importent les liens personnels, c'est-à-dire l'existence effective de liens familiaux particulièrement forts d'un point de vue affectif et non pas seulement les décisions judiciaires ou les conventions entre parents se répartissant l'autorité parentale et la garde des enfants communs ou encore l'introduction de l'autorité parentale conjointe en cas de divorce résultant de la modification du code civil entrée en vigueur le 1 er juillet 2014 (arrêt 2C_821/2016 du 2 février 2018 consid. 5.2.1, destiné à la publication). Or, le recourant n'exerce effectivement pas un droit de visite qu'il convient de considérer comme étant usuel, dans la mesure où, s'il voit son enfant tous les deux week-end, il ne s'en occupe pas durant les vacances scolaires. En l'absence de faits attestant d'efforts effectués par le recourant pour obtenir un droit de visite plus étendu sur son fils, on ne peut que confirmer l'arrêt du Tribunal administratif fédéral quant à l'insuffisance des liens familiaux affectifs existant entre le recourant et son enfant.
4.5. En outre, à l'instar du Tribunal administratif fédéral, on peut également nier l'existence d'un comportement irréprochable de la part du recourant, puisqu'on ne saurait parler d'un tel comportement lorsqu'il existe, à l'encontre de l'étranger, des motifs d'éloignement, en particulier si l'on peut lui reprocher un comportement répréhensible sur le plan pénal ou en regard de la législation sur les étrangers. A ce propos, il convient d'ajouter qu'en droit des étrangers, le respect de l'ordre et de la sécurité publics ne se recoupent pas nécessairement avec la violation de dispositions pénales, de sorte que l'appréciation émise par l'autorité de police des étrangers peut s'avérer plus rigoureuse que celle de l'autorité pénale (arrêt 2C_821/2016 du 2 février 2018 consid. 5.2.4 et les références citées, destiné à la publication). Or, en l'espèce, même si elles datent de 2012, les deux condamnations du recourant pour des voies de fait commises à l'encontre de la mère de l'enfant, ne permettent pas de retenir un comportement irréprochable. Il ne s'agit en effet pas de "simples délits" intervenant dans le cadre de conflits conjugaux, mais d'une infraction contre l'intégrité physique qui exclut toute exception à l'exigence du comportement irréprochable (cf. a contrario arrêt 2C_547/2014 du 5 janvier 2015 consid. 3.6.3).
4.6. Quant à la condition de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent, il faut constater que la Serbie est certes relativement éloignée de la Suisse. Toutefois, le recourant ne bénéficie pas d'une situation professionnelle stable en Suisse, étant au bénéfice d'indemnités de chômage et de divers contrats temporaires de mission. Dans ces conditions, la distance existant entre la Suisse et son pays d'origine n'est pas à ce point importante qu'elle s'opposerait au refus d'un titre de séjour en Suisse. Au demeurant, rien n'empêche le recourant d'exercer son droit de visite en venant voir son fils en Suisse lors de vacances ou, plus tard, en l'invitant à se rendre en Serbie. Il pourra également communiquer régulièrement avec celui-ci par le biais d'Internet ou de tout autre moyen de télécommunication. Par ailleurs, l'autorité précédente a constaté que le recourant versait les pensions alimentaires qu'il devait, mais par le biais d'un bureau de recouvrement. Même si cela n'exclut pas d'emblée l'existence d'un lien économique entre le recourant et son fils, qu'un tel organisme doive intervenir pour que le recourant s'acquitte de son dû, démontre à tout le moins le peu d'intérêt qu'il porte aux besoins financiers de son enfant et conduit à relativiser l'aspect économique dans la pesée des intérêts en présence. En outre, l'intégration sociale du recourant en Suisse n'est pas particulièrement poussée, celui-ci, selon les constatations de l'autorité précédente, ayant de la peine à comprendre le français et ne participant pas à la vie sociale de la région où il vit.
4.7. S'agissant finalement de la réintégration sociale dans le pays de provenance, l'art. 50 al. 2 LEtr exige qu'elle semble fortement compromise (<ref-ruling> consid. 5.3 p. 4). La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de la réintégration sociale, au regard de la situation personnelle, professionnelle et familiale de l'étranger, seraient gravement compromises (cf. <ref-ruling> consid. 3.1 p. 232).
En l'occurrence, le Tribunal administratif fédéral a notamment relevé que le recourant avait passé toute son enfance et son adolescence dans son pays d'origine. Le recourant ne démontre nullement qu'il pourrait se trouver dans une situation présentant des difficultés de réadaptation insurmontables en cas de retour en Serbie, pays où il dispose d'un réseau familial et dont il maîtrise la langue. En outre, il bénéficie d'une expérience professionnelle dans le domaine de la construction qui lui permettront de faciliter sa réintégration dans son pays d'origine. Compte tenu de ces éléments, l'autorité précédente pouvait retenir que la réintégration du recourant dans son pays d'origine ne serait pas fortement compromise.
4.8. Le recourant ne présentant pas de lien affectif fort avec son enfant, son comportement n'étant pas irréprochable et son retour en Serbie n'étant pas gravement compromis, il ne saurait être question de violation de l'art. 50 al. 1 let. b LEtr et de l'art. 8 CEDH.
5.
En dernier lieu, hormis le lien du recourant avec son fils, dont on a vu qu'il ne justifie pas à lui seul son séjour en Suisse, l'arrêt attaqué ne révèle aucun élément déterminant qui ferait apparaître le refus d'approuver la prolongation de l'autorisation de séjour du recourant comme disproportionné (cf. art. 96 al. 1 LEtr). En tenant compte de l'âge d'arrivée en Suisse du recourant, de la durée et de la qualité de son séjour en Suisse, du fait que son intégration professionnelle et sociale en Suisse n'est pas particulièrement marquée, des conséquences pour lui et son enfant d'un refus de demeurer en Suisse, de la possibilité de conserver des liens avec son fils en dépit de l'éloignement et des possibilités d'intégration à l'étranger, c'est à bon droit que le Tribunal administratif fédéral a confirmé la proportionnalité du refus d'approuver la prolongation de l'autorisation de séjour du recourant.
6.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable. Les frais judiciaires sont mis à la charge du recourant (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour VI, ainsi qu'au Service de la population du canton de Vaud.
Lausanne, le 23 mai 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette