Faits : A. A.a. X._, ressortissant serbe né en 1981, est arrivé en Suisse le 5 décembre 2005 pour y rejoindre sa mère. Il a déposé une demande d'asile le 7 décembre 2005. Par décision du 29 mars 2006, l'Office fédéral des migrations, devenu le Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) le 1er janvier 2015, a rejeté ladite requête et a prononcé son renvoi de Suisse. Le 7 juillet 2006, la Commission suisse de recours en matière d'asile a déclaré irrecevable le recours contre cette décision. L'intéressé n'a toutefois pas quitté la Suisse. A.b. Le 20 avril 2007, X._ a épousé Y._, ressortissante suisse. A la suite de ce mariage, il a été mis au bénéfice d'une autorisation de séjour au titre de regroupement familial. Dite autorisation a été renouvelée jusqu'au 22 décembre 2010. Les époux ont eu trois enfants, A._ née en 2008, B._ née en 2010 et C._ née en 2011. A.c. Entre 2001 et 2002, X._ a été condamné à quatre reprises en Allemagne: le 31 janvier 2001 à une peine de dix mois avec sursis pour vol et conduite sans permis; le 8 mai 2001 à une peine d'une année avec sursis pour conduite en état d'ivresse sans permis et commerce de stupéfiants; le 21 février 2002, à une peine de quatorze mois pour conduite sans permis et le 2 septembre 2002 à une peine privative de liberté d'une année pour lésions corporelles. Depuis son arrivée en Suisse, X._ a fait l'objet des condamnations suivantes: - Le 21 décembre 2006, le Tribunal de police de Neuchâtel a condamné l'intéressé à quinze jours d'emprisonnement avec sursis pour vol et recel. - Le 21 mai 2010, le Tribunal correctionnel de la Broye et du Nord vaudois l'a condamné à vingt mois de peine privative de liberté avec sursis pendant trois ans et à une amende de 300 fr. pour vol en bande, tentative de vol en bande, dommages à la propriété, violation de domicile, recel, violation simple des règles de la circulation routière et ivresse au volant qualifiée. - Le 26 février 2014, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois l'a condamné à huit mois de peine privative de liberté et à 300 fr. d'amende pour recel, défaut d'avis en cas de trouvaille, ivresse au volant qualifiée, circulation sans permis de circulation ou plaques de contrôle, circulation sans être porteur du permis de conduire et contravention à la loi fédérale sur les stupéfiants (LStup; RS 812.121). L'autorité cantonale a révoqué les sursis accordés le 21 décembre 2006 et le 21 mai 2010. Le recourant a formé appel contre ce jugement. B. B.a. Le 20 septembre 2010, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a révoqué l'autorisation de séjour de X._ et prononcé son renvoi de Suisse. Le 7 octobre 2011, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a admis le recours interjeté par X._ et annulé la décision du Service cantonal. Les juges cantonaux ont retenu que la révocation de l'autorisation de séjour était disproportionnée au regard de l'ensemble des circonstances, en particulier de la situation familiale de l'intéressé, des efforts fournis pour améliorer sa situation financière et du pronostic favorable émis par le juge pénal. Ils ont cependant souligné que la prolongation de l'autorisation de séjour de l'intéressé était soumise à la condition que celui-ci fasse désormais preuve d'un comportement irréprochable. Cet arrêt est entré en force. B.b. Faisant suite à cette décision de justice, le Service cantonal, dans un courrier daté du 24 octobre 2011, a indiqué à X._ qu'il transmettait le dossier au Secrétariat d'Etat. Le 15 novembre 2011, le Secrétariat d'Etat a informé l'intéressé qu'il envisageait de refuser d'approuver la prolongation de l'autorisation de séjour et lui a imparti un délai pour se déterminer. Par décision du 14 mars 2012, rendue après avoir entendu l'intéressé, le Secrétariat d'Etat a refusé d'approuver la prolongation de l'autorisation de séjour de X._ et a prononcé son renvoi de Suisse. Par arrêt du 26 mai 2014, le Tribunal administratif fédéral a rejeté le recours formé par l'intéressé contre la décision du Secrétariat d'Etat. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt attaqué en ce sens qu'une prolongation de son autorisation de séjour en Suisse lui soit accordée. Subsidiairement, il conclut à l'annulation de l'arrêt entrepris et à ce que la cause soit renvoyée à l'autorité intimée pour nouvelle décision. Le Tribunal administratif fédéral renonce à se déterminer sur le recours. Le Secrétariat d'Etat propose son rejet. Le 25 août 2014, le recourant a déposé des observations complémentaires ainsi qu'une demande de suspension, afin de lui permettre de "produire un accord signé avec les services sociaux". Par ordonnance présidentielle du 7 juillet 2014, l'effet suspensif a été accordé au recours.