Faits :
A.
A.a. X._, ressortissant serbe né en 1981, est arrivé en Suisse le 5 décembre 2005 pour y rejoindre sa mère. Il a déposé une demande d'asile le 7 décembre 2005. Par décision du 29 mars 2006, l'Office fédéral des migrations, devenu le Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) le 1er janvier 2015, a rejeté ladite requête et a prononcé son renvoi de Suisse. Le 7 juillet 2006, la Commission suisse de recours en matière d'asile a déclaré irrecevable le recours contre cette décision. L'intéressé n'a toutefois pas quitté la Suisse.
A.b. Le 20 avril 2007, X._ a épousé Y._, ressortissante suisse. A la suite de ce mariage, il a été mis au bénéfice d'une autorisation de séjour au titre de regroupement familial. Dite autorisation a été renouvelée jusqu'au 22 décembre 2010. Les époux ont eu trois enfants, A._ née en 2008, B._ née en 2010 et C._ née en 2011.
A.c. Entre 2001 et 2002, X._ a été condamné à quatre reprises en Allemagne: le 31 janvier 2001 à une peine de dix mois avec sursis pour vol et conduite sans permis; le 8 mai 2001 à une peine d'une année avec sursis pour conduite en état d'ivresse sans permis et commerce de stupéfiants; le 21 février 2002, à une peine de quatorze mois pour conduite sans permis et le 2 septembre 2002 à une peine privative de liberté d'une année pour lésions corporelles.
Depuis son arrivée en Suisse, X._ a fait l'objet des condamnations suivantes:
- Le 21 décembre 2006, le Tribunal de police de Neuchâtel a condamné l'intéressé à quinze jours d'emprisonnement avec sursis pour vol et recel.
- Le 21 mai 2010, le Tribunal correctionnel de la Broye et du Nord vaudois l'a condamné à vingt mois de peine privative de liberté avec sursis pendant trois ans et à une amende de 300 fr. pour vol en bande, tentative de vol en bande, dommages à la propriété, violation de domicile, recel, violation simple des règles de la circulation routière et ivresse au volant qualifiée.
- Le 26 février 2014, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois l'a condamné à huit mois de peine privative de liberté et à 300 fr. d'amende pour recel, défaut d'avis en cas de trouvaille, ivresse au volant qualifiée, circulation sans permis de circulation ou plaques de contrôle, circulation sans être porteur du permis de conduire et contravention à la loi fédérale sur les stupéfiants (LStup; RS 812.121). L'autorité cantonale a révoqué les sursis accordés le 21 décembre 2006 et le 21 mai 2010. Le recourant a formé appel contre ce jugement.
B.
B.a. Le 20 septembre 2010, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a révoqué l'autorisation de séjour de X._ et prononcé son renvoi de Suisse.
Le 7 octobre 2011, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a admis le recours interjeté par X._ et annulé la décision du Service cantonal. Les juges cantonaux ont retenu que la révocation de l'autorisation de séjour était disproportionnée au regard de l'ensemble des circonstances, en particulier de la situation familiale de l'intéressé, des efforts fournis pour améliorer sa situation financière et du pronostic favorable émis par le juge pénal. Ils ont cependant souligné que la prolongation de l'autorisation de séjour de l'intéressé était soumise à la condition que celui-ci fasse désormais preuve d'un comportement irréprochable. Cet arrêt est entré en force.
B.b. Faisant suite à cette décision de justice, le Service cantonal, dans un courrier daté du 24 octobre 2011, a indiqué à X._ qu'il transmettait le dossier au Secrétariat d'Etat. Le 15 novembre 2011, le Secrétariat d'Etat a informé l'intéressé qu'il envisageait de refuser d'approuver la prolongation de l'autorisation de séjour et lui a imparti un délai pour se déterminer.
Par décision du 14 mars 2012, rendue après avoir entendu l'intéressé, le Secrétariat d'Etat a refusé d'approuver la prolongation de l'autorisation de séjour de X._ et a prononcé son renvoi de Suisse. Par arrêt du 26 mai 2014, le Tribunal administratif fédéral a rejeté le recours formé par l'intéressé contre la décision du Secrétariat d'Etat.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt attaqué en ce sens qu'une prolongation de son autorisation de séjour en Suisse lui soit accordée. Subsidiairement, il conclut à l'annulation de l'arrêt entrepris et à ce que la cause soit renvoyée à l'autorité intimée pour nouvelle décision.
Le Tribunal administratif fédéral renonce à se déterminer sur le recours. Le Secrétariat d'Etat propose son rejet. Le 25 août 2014, le recourant a déposé des observations complémentaires ainsi qu'une demande de suspension, afin de lui permettre de "produire un accord signé avec les services sociaux".
Par ordonnance présidentielle du 7 juillet 2014, l'effet suspensif a été accordé au recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 60).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions dans le domaine du droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En l'espèce, le recourant est marié à une ressortissante suisse. Il vit en ménage commun avec cette dernière et leurs trois enfants. Il dispose partant d'un droit potentiel à l'octroi d'une autorisation de séjour selon les art. 42 ss LEtr, respectivement l'art. 8 CEDH. Le recours est donc recevable sous l'angle de l'art. 83 let. c ch. 2 LTF.
Pour le surplus, dirigé contre un arrêt final (cf. <ref-law>) rendu par le Tribunal administratif fédéral (cf. <ref-law>), le recours a été déposé dans les formes et le délai prescrits par la loi (cf. art. 42 et 100 al. 1 LTF) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>. Il est par conséquent recevable.
1.2. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il examine en principe librement l'application du droit fédéral. Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104).
2.
Le présent litige a pour origine une décision de révocation de l'autorisation de séjour de X._ par le Service cantonal. Cette décision a été portée devant le Tribunal cantonal, qui a admis le recours de l'intéressé et a annulé la décision du Service cantonal. Faisant suite à cette décision, le Service cantonal a transmis le dossier au Secrétariat d'Etat, qui a refusé d'approuver la prolongation de l'autorisation de séjour. Cette décision a été confirmée par le Tribunal administratif fédéral. La question se pose de savoir si, au regard de la jurisprudence récente du Tribunal fédéral, cette manière de procéder est conforme au droit.
3.
3.1. Dans un arrêt de principe du 30 mars 2015 (2C_146/2014 destiné à la publication), le Tribunal fédéral a jugé qu'il n'existait aucune base légale permettant au Secrétariat d'Etat de refuser son approbation lorsque l'autorisation litigieuse avait déjà fait l'objet d'une décision prise sur recours par une instance cantonale de recours. Cette jurisprudence a été prise sur la base du raisonnement suivant. La Cour de céans a tout d'abord rappelé que, si la Confédération est compétente en matière de police des étrangers (cf. art. 121 al. 1 Cst.), l'exécution du droit fédéral est du ressort des cantons. Il appartient en particulier aux autorités cantonales d'octroyer les autorisations prévues aux art. 32 à 35 (autorisation de courte durée, autorisation de séjour, autorisation d'établissement et autorisation frontalière) et aux art. 37 à 39 LEtr (cf. art. 40 al. 1 LEtr). L'art. 99 LEtr prévoit toutefois une procédure d'approbation par le Secrétariat d'Etat, lui permettant de refuser son approbation à l'octroi d'une autorisation ou de limiter la portée de la décision cantonale. La LEtr ne définit cependant pas les cas dans lesquels les autorisations de courte durée, de séjour ou d'établissement sont soumises à l'approbation du Secrétariat d'Etat, se limitant à conférer la compétence de les déterminer au Conseil fédéral. Celui-ci a fait usage de cette compétence en édictant l'art. 85 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201). Selon cette disposition, le Secrétariat d'Etat a la compétence d'approuver l'octroi et le renouvellement des autorisations de séjour et de courte durée, ainsi que l'octroi de l'établissement, lorsqu'il estime qu'une procédure d'approbation est nécessaire pour certaines catégories de personnes, afin d'assurer une pratique uniforme de la loi (let. a); il exige que l'approbation lui soit soumise dans un cas d'espèce (let. b); l'octroi préalable de l'autorisation d'établissement doit avoir lieu conformément à l'art. 34 al. 3 et 4 LEtr (let. c); l'autorisation d'exercer une activité lucrative est octroyée pour quatre mois au maximum au sens de l'art. 19 al. 4 let. a (let. d). Il ressort des lettres a et b de cette disposition que le Conseil fédéral a procédé à une sous-délégation, dès lors qu'il a laissé au Secrétariat d'Etat le soin de définir les cas dans lesquels une procédure d'approbation est nécessaire. Le Tribunal fédéral a considéré qu'un tel mode de faire n'était pas conforme à l'art. 48 al. 2 de la loi sur l'organisation du gouvernement et de l'administration du 21 mars 1997 (LOGA; RS 172.010), dans la mesure où la sous-délégation n'était pas prévue par une loi fédérale, en l'occurrence la LEtr. Il s'ensuit que, faute de base légale suffisante, la procédure d'approbation par le Secrétariat d'Etat ne trouve de fondement ni à l'art. 85 al. 1 let. a OASA ni à l'art. 85 al. 1 let. b OASA. Les autorités cantonales peuvent cependant, dans le cadre de l'assistance administrative (cf. art. 97 LEtr), soumettre une décision pour approbation au Secrétariat d'Etat, afin qu'il vérifie si les conditions prévues par le droit fédéral sont remplies. Cette possibilité, prévue notamment à l'art. 85 al. 3 OASA, est toutefois limitée à la situation dans laquelle les autorités s'assistent mutuellement pour rendre une décision originaire de première instance (arrêt 2C_146/2014 précité, consid. 4.2 et 4.3).
3.2. La situation se présente sous un angle différent lorsque la procédure d'approbation par le Secrétariat d'Etat fait suite à une décision prise sur recours par une instance cantonale (généralement une autorité judiciaire) admettant le principe de l'octroi, respectivement la prolongation, d'un titre de séjour. En pareille hypothèse, le Tribunal fédéral a retenu, dans l'arrêt précité du 30 mars 2015, que la procédure d'approbation par le Secrétariat d'Etat n'était pas admissible lorsque ce dernier pouvait porter la cause devant le Tribunal fédéral par la voie du recours des autorités (<ref-law>). S'il n'est pas d'accord avec la décision de l'autorité cantonale de recours, le Secrétariat d'Etat doit donc saisir le Tribunal fédéral par la voie du recours en matière de droit public, voire porter au préalable l'affaire devant l'instance cantonale de recours dans les cantons où il existe un double degré de juridiction (cf. <ref-law>). Si le Secrétariat d'Etat ne fait pas usage de son droit de recours, il ne saurait, au travers de la procédure d'approbation, court-circuiter la décision de l'instance cantonale de recours (cf. arrêt 2C_146/2014 précité, consid. 4.4.3). La qualité pour former un tel recours est cependant subordonnée à l'existence d'un droit à une autorisation en matière de droit des étrangers (art. 83 let. c ch. 2 LTF). A défaut d'une telle prétention, le Secrétariat d'Etat ne peut remettre en cause la décision de l'autorité cantonale de recours que par la voie de la procédure d'approbation. Or, faute de base légale suffisante en la matière permettant une sous-délégation (cf. supra consid. 3.1), il appartient au Conseil fédéral de définir plus précisément les cas dans lesquels les autorités de courte durée, de séjour et d'établissement sont soumises à la procédure d'approbation par le Secrétariat d'Etat (arrêt 2C_146/2014 précité, consid. 4.4.4).
L'arrêt 2C_146/2014 consacre ainsi un changement de jurisprudence et met un terme à une procédure qui conduisait à des résultats insatisfaisants, puisqu'elle permettait au Secrétariat d'Etat de refuser son approbation à l'octroi d'un titre de séjour pourtant ordonné par une autorité judiciaire cantonale, alors qu'il pouvait utiliser la voie du recours en matière de droit public au Tribunal fédéral pour s'en plaindre. Cette nouvelle jurisprudence vise également à limiter les décisions contradictoires émanant d'autorités judiciaires de même rang, ce qui est le cas lorsque un Tribunal cantonal admet l'octroi d'un titre de séjour, alors que le Tribunal administratif fédéral, confirmant la décision du Secrétariat d'Etat, le refuse.
3.3. En l'occurrence, les principes posés dans l'arrêt 2C_146/2014 précité sont applicables dans le cas particulier. En effet, la décision du Secrétariat d'Etat du 14 mars 2012 a été prise à la suite de l'arrêt du Tribunal cantonal du 7 octobre 2011, par lequel l'autorité judiciaire a admis le recours de l'intéressé et annulé la décision de révocation de l'autorisation de séjour prononcée par le Service cantonal. Dans une telle configuration, le Secrétariat d'Etat, qui avait la possibilité de recourir devant le Tribunal fédéral contre l'arrêt du Tribunal cantonal (cf. <ref-law> cum art. 83 let. c ch. 2 a contrario LTF), n'était donc pas compétent pour refuser son approbation à la prolongation de l'autorisation de séjour du recourant.
4.
Reste à déterminer les conséquences du défaut de compétence du Secrétariat d'Etat sur l'arrêt du Tribunal administratif fédéral. Cette question suppose de se demander si la décision du Secrétariat d'Etat est nulle ou annulable.
4.1. Selon la jurisprudence, la nullité absolue ne frappe que les décisions affectées des vices les plus graves, manifestes ou particulièrement reconnaissables, et pour autant que la constatation de la nullité ne mette pas sérieusement en danger la sécurité du droit (<ref-ruling> consid. 3.1 p. 503 s.; <ref-ruling> consid. 4.4.3 p. 56; <ref-ruling> consid. 3.1 p. 275).
4.2. En l'occurrence, l'incompétence du Secrétariat d'Etat résulte d'un changement de jurisprudence, qui a nécessité un examen approfondi des dispositions applicables par le Tribunal fédéral. Dans la mesure où le Secrétariat d'Etat a statué avant le prononcé de l'arrêt 2C_146/2014 précité, il y a lieu de constater que le vice affectant la décision du Secrétariat d'Etat n'était pas manifeste, de sorte qu'il ne saurait justifier la sanction de la nullité. Au demeurant, le constat de nullité de la décision en cause créerait une insécurité juridique par rapport aux nombreuses décisions que le Secrétariat d'Etat a rendues de la même façon par le passé. Dans ces circonstances, il ne peut être reproché au Tribunal administratif fédéral de n'avoir pas constaté la nullité de la décision du Secrétariat d'Etat. En revanche, en ne l'annulant pas, l'instance précédente a violé le droit fédéral.
5.
Les considérants qui précèdent conduisent, pour un motif formel, à l'admission du recours, sans qu'il soit nécessaire d'examiner les griefs au fond soulevés par le recourant. La demande de suspension du recourant devient donc sans objet.
Encore faut-il déterminer les conséquences de cette admission. L'arrêt rendu le 26 mai 2014 par le Tribunal administratif fédéral, en tant qu'il viole le droit fédéral (cf. supra consid. 4.2), doit être annulé. En raison de l'effet dévolutif complet du recours auprès du Tribunal administratif fédéral (cf. arrêt 2C_356/2014 du 27 août 2014 consid. 1.3), ce prononcé entraîne l'annulation de la décision du Secrétariat d'Etat. Le recourant doit ainsi être placé dans la situation qui était la sienne à la suite de l'arrêt du Tribunal cantonal du 7 octobre 2011. Il convient donc de renvoyer le dossier au Service cantonal, afin qu'il renouvelle en principe l'autorisation de séjour, sous réserve de nouveaux motifs de révocation survenus postérieurement à l'arrêt du Tribunal cantonal.
6.
Le recourant, qui obtient gain de cause avec l'assistance d'un représentant (<ref-law>), a droit à des dépens à la charge de la Confédération (<ref-law>), soit le Secrétariat d'Etat. Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente pour qu'elle statue surles frais et dépens de la procédure accomplie devant elle. Il n'est pas perçu de frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt rendu le 26 mai 2014 par le Tribunal administratif fédéral est annulé.
2.
La cause est renvoyée au Tribunal administratif fédéral afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure devant lui.
3.
La cause est renvoyée au Service cantonal de la population du canton de Vaud afin qu'il statue dans le sens des considérants.
4.
Il n'est pas perçu de frais judiciaires.
5.
Le Secrétariat d'Etat aux migrations versera au recourant une indemnité de 2'000 fr. à titre de dépens.
6.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 24 avril 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : McGregor