Faits: A. X._, ressortissant kosovar né le *** 1968 est, selon ses dires, arrivé en Suisse en octobre 1990. Séjournant et travaillant illégalement en Suisse, il a fait l'objet d'une décision d'interdiction d'entrée en territoire helvétique prononcée le 26 juillet 1991 pour une durée de deux ans, avant d'être refoulé vers la Serbie trois jours plus tard. Il est revenu en Suisse le 8 février 1992. Le 24 mars 1992, l'interdiction d'entrée a été prolongée jusqu'au 25 juillet 1996, et le prénommé a été expulsé vers Belgrade le lendemain. B. B.a Après s'être vu délivrer un sauf-conduit pour la Suisse, l'intéressé a épousé, le 24 juillet 1993, A._, une ressortissante italienne titulaire d'une autorisation d'établissement. Compte tenu de cette union, les autorités helvétiques ont levé la mesure d'éloignement précitée et délivré à X._, le 11 octobre 1993, une autorisation de séjour pour regroupement familial. De ce mariage est issu un fils, B._, né le *** 1994, titulaire d'une autorisation d'établissement. Les conjoints X.A._ se sont séparés en octobre 1998. La vie séparée des époux a été organisée d'abord par des mesures provisionnelles, le 26 novembre 1998, puis par des mesures protectrices de l'union conjugale, selon lesquelles la garde de l'enfant B._ a été confiée à la mère, qui est à demi-sourde et muette, le père demeurant au bénéfice d'un droit de visite tout en étant astreint au paiement d'une pension alimentaire. Par jugement du 22 mai 2001, devenu définitif et exécutoire le 20 juin 2001, le mariage des époux X.A._ a été dissous par le divorce et l'autorité parentale sur B._ confiée à la mère, un droit de visite usuel étant attribué au père et fixé, à défaut d'entente, à raison d'un week-end sur deux et durant la moitié des vacances scolaires, un ordre à l'employeur étant prévu pour le versement des pensions dues en faveur de l'enfant et de l'épouse. Le 18 avril 2011, X._ a déposé une demande de modification du jugement de divorce dans le but d'obtenir formellement la garde de son fils, qui avait décidé de vivre chez lui. Par ordonnance de mesures provisionnelles du Président du Tribunal civil de l'arrondissement de Lausanne du 1er juillet 2011, il a obtenu la garde de son fils. Il ressort de cette ordonnance que B._ vit chez son père depuis janvier 2011, que les relations entre la mère et le fils sont extrêmement conflictuelles, au point que celle-ci a déposé une plainte pénale contre son fils et qu'elle refuse tout contact, ne répondant même pas aux courriels et appels téléphoniques de celui-ci; ledit tribunal a requis l'intervention du Service de la protection de la jeunesse. B.b Le 26 octobre 2007, X._ a pris pour épouse une ressortissante serbe nommée C._, ancienne requérante d'asile au bénéfice de l'admission provisoire dans le canton de Neuchâtel. Cette dernière a subséquemment demandé le regroupement familial auprès de son époux; cette procédure a été suspendue jusqu'à droit connu sur les conditions de séjour de l'intéressé. C. S'agissant de son passé criminel, X._ a été condamné le 24 octobre 1995 à neuf mois d'emprisonnement et trois ans d'expulsion du territoire suisse, pour complicité d'infraction simple à la LStup et infraction au droit des étrangers; le 21 avril 1998, il s'est vu infliger une peine de six mois d'emprisonnement et de cinq ans d'expulsion du territoire suisse, pour mise en circulation et prise en dépôt de fausse monnaie; le 11 mars 2003, il a fait l'objet d'une condamnation à trois mois d'emprisonnement pour vol et complicité de rupture de ban; le 30 juillet 2003, il a été condamné à dix jours d'arrêts pour violation simple des règles de la circulation et conduite sans permis de conduire et, le 30 novembre 2005, à une peine de quinze jours d'emprisonnement pour les mêmes infractions. Un total de 49 jours de peine privative de liberté lui a été infligé en raison d'amendes impayées, les 11 et 27 décembre 2007. Le 28 novembre 2008, il a été reconnu coupable d'escroquerie et de violation des règles de la circulation routière et condamné à une peine de 150 jours-amende (le montant du jour-amende étant fixé à 40 fr.). Il a ainsi fait l'objet de plus de 20 mois de peines privatives de liberté, sans compter la dernière condamnation à 150 jours-amende. D. Pour ce qui est de son parcours professionnel, on retiendra qu'à son arrivée en Suisse, X._ a travaillé comme ouvrier agricole de mars à novembre 1994, puis a été engagé comme aide-peintre le 21 février 1995. Il a ensuite connu une période de chômage entre 1995 et 1997, pendant laquelle il a toutefois pu obtenir des gains intermédiaires en travaillant comme peintre en bâtiment d'avril à octobre 1996. Il a trouvé une place fixe de peintre en juillet 1997, mais a dû cesser son activité en janvier 1999, à la suite d'une incapacité de travail totale due à une hernie discale, qui a perduré jusqu'à fin décembre 2000. Il a recommencé à travailler en mars 2001, d'abord par le biais d'une agence de placement, puis à un poste fixe le 1er juillet 2002. A partir de septembre 2003, il a de nouveau été en incapacité de travail puis s'est fait licencier avec effet immédiat au 1er juillet 2004 pour avoir exercé une activité professionnelle pour le compte d'un tiers durant son arrêt de travail, ce qui lui a également valu une condamnation pénale pour escroquerie. Après avoir obtenu un emploi intermédiaire à temps partiel en août 2004, il a trouvé un travail comme peintre le 19 juillet 2005 et a commencé à exercer cette profession comme indépendant depuis début décembre 2005, activité qu'il exerce toujours à son compte. S'il travaille désormais à son compte depuis fin 2005, c'est au mépris de la décision du Service de l'emploi du canton de Vaud du 6 novembre 2006, qui lui a refusé l'autorisation de travailler en tant qu'indépendant, attendu qu'il n'était pas titulaire d'une autorisation d'établissement. Enfin, sa situation financière est obérée: au printemps 2009, il faisait l'objet de poursuites à hauteur de plus de 33'000 fr. et 77 actes de défaut de biens pour un montant total dépassant 124'000 fr. avaient été délivrés à son encontre. E. E.a Les rapports entre X._ et les autorités de police des étrangers ont de tout temps été délicats. Outre les décisions du 26 juillet 1991 et du 24 mars 1992, ci-dessus mentionnés, il faut signaler que, par décision du 30 août 1999, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé de renouveler l'autorisation de séjour de X._, au vu de la seconde condamnation pénale de celui-ci et de l'intensité relative de ses rapports avec B._. X._ a recouru contre ce prononcé le 22 septembre 1999 auprès du Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif). Dans ce contexte, le 11 octobre 1999, le Service de la population est revenu sur sa position, se déclarant disposé à renouveler l'autorisation de séjour de X._ durant trois ans à condition qu'il adopte un comportement irréprochable, qu'il conserve des contacts réguliers avec son enfant et contribue financièrement à son éducation et qu'il demeure financièrement autonome - termes que l'intéressé s'est engagé à respecter par déclaration écrite du 25 octobre 1999. Le Tribunal administratif a ainsi rayé l'affaire du rôle en date du 28 octobre 1999. Par courrier du 9 décembre 1999, le Service de la population a averti X._ qu'en cas d'inobservation d'une des conditions précitées, il n'hésiterait pas à statuer négativement sur ses conditions de séjour. E.b Dans une nouvelle décision du 27 novembre 2003, le Service de la population a refusé de renouveler l'autorisation de séjour de X._ et ordonné son renvoi du territoire cantonal, retenant qu'il n'avait pas été possible d'établir clairement les contributions versées par le prénommé à son fils ni le rythme et le déroulement des visites, que l'intéressé n'avait toutefois pas démontré que sa présence en Suisse était indispensable au développement de son enfant, qu'il avait été à nouveau condamné malgré les avertissements reçus, qu'il n'avait pas fait preuve de stabilité professionnelle et avait eu recours au revenu minimum de réinsertion, et qu'il avait retardé la procédure en négligeant de répondre aux nombreuses convocations qui lui avaient été adressées entre octobre 2000 et l'été 2002. L'intéressé a recouru contre ce prononcé le 18 décembre 2003 auprès du Tribunal administratif. Par jugement du 26 mai 2005, ce dernier a admis le recours et renvoyé le dossier au Service de la population, qui a renouvelé l'autorisation de séjour de l'intéressé le 18 octobre 2005 puis, régulièrement, jusqu'au 27 juin 2008. E.c En date du 8 juillet 2008, X._ a requis la prolongation de son autorisation de séjour, respectivement sa transformation en autorisation d'établissement, produisant notamment un extrait bancaire du 26 juin 2008 relatif à un compte établi dans le cadre de son activité lucrative indépendante qu'il avait poursuivie, ainsi qu'une attestation de l'Office des poursuites de Lausanne-Ouest du 30 juin 2008 indiquant qu'il faisait l'objet de poursuites à hauteur de 22'293 fr.80 et de 80 actes de défaut de biens à concurrence de 127'098 fr.10. Le 21 août 2008, le Service de la population a refusé de transformer l'autorisation de séjour en autorisation d'établissement, compte tenu des démêlés du prénommé avec la justice pénale et de sa situation financière obérée. Il s'est en revanche déclaré favorable à la prolongation de l'autorisation de séjour de l'intéressé (eu égard à la durée de son séjour en Suisse, à ses rapports avec son fils et à son récent remariage), sous réserve de l'approbation de l'Office fédéral des migrations (ci-après: l'Office fédéral). Aucun recours n'a été interjeté contre cette décision. A la suite d'un aller-retour du dossier entre l'Office fédéral et le Service de la population, ce dernier a confirmé le 20 juillet 2009 son préavis favorable à la prolongation de l'autorisation. Le 18 novembre 2009, l'Office fédéral a refusé son approbation à la prolongation de l'autorisation de séjour. Le 30 janvier 2012, le Tribunal administratif fédéral a rejeté le recours formé contre la décision de l'Office fédéral du 18 novembre 2009. F. X._ forme un recours en matière de droit public contre le jugement du Tribunal administratif fédéral. Il conclut principalement au renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants, subsidiairement à la réforme de l'arrêt entrepris "dans le sens que l'approbation à la prolongation de l'autorisation de séjour (...) est admise", le tout sous suite de frais et dépens. L'Office fédéral conclut au rejet du recours alors que le Tribunal administratif fédéral ne s'est pas déterminé.