Faits:
A. X._, ressortissant kosovar né le *** 1968 est, selon ses dires, arrivé en Suisse en octobre 1990. Séjournant et travaillant illégalement en Suisse, il a fait l'objet d'une décision d'interdiction d'entrée en territoire helvétique prononcée le 26 juillet 1991 pour une durée de deux ans, avant d'être refoulé vers la Serbie trois jours plus tard. Il est revenu en Suisse le 8 février 1992. Le 24 mars 1992, l'interdiction d'entrée a été prolongée jusqu'au 25 juillet 1996, et le prénommé a été expulsé vers Belgrade le lendemain.
B. B.a Après s'être vu délivrer un sauf-conduit pour la Suisse, l'intéressé a épousé, le 24 juillet 1993, A._, une ressortissante italienne titulaire d'une autorisation d'établissement. Compte tenu de cette union, les autorités helvétiques ont levé la mesure d'éloignement précitée et délivré à X._, le 11 octobre 1993, une autorisation de séjour pour regroupement familial. De ce mariage est issu un fils, B._, né le *** 1994, titulaire d'une autorisation d'établissement.
Les conjoints X.A._ se sont séparés en octobre 1998. La vie séparée des époux a été organisée d'abord par des mesures provisionnelles, le 26 novembre 1998, puis par des mesures protectrices de l'union conjugale, selon lesquelles la garde de l'enfant B._ a été confiée à la mère, qui est à demi-sourde et muette, le père demeurant au bénéfice d'un droit de visite tout en étant astreint au paiement d'une pension alimentaire. Par jugement du 22 mai 2001, devenu définitif et exécutoire le 20 juin 2001, le mariage des époux X.A._ a été dissous par le divorce et l'autorité parentale sur B._ confiée à la mère, un droit de visite usuel étant attribué au père et fixé, à défaut d'entente, à raison d'un week-end sur deux et durant la moitié des vacances scolaires, un ordre à l'employeur étant prévu pour le versement des pensions dues en faveur de l'enfant et de l'épouse.
Le 18 avril 2011, X._ a déposé une demande de modification du jugement de divorce dans le but d'obtenir formellement la garde de son fils, qui avait décidé de vivre chez lui. Par ordonnance de mesures provisionnelles du Président du Tribunal civil de l'arrondissement de Lausanne du 1er juillet 2011, il a obtenu la garde de son fils. Il ressort de cette ordonnance que B._ vit chez son père depuis janvier 2011, que les relations entre la mère et le fils sont extrêmement conflictuelles, au point que celle-ci a déposé une plainte pénale contre son fils et qu'elle refuse tout contact, ne répondant même pas aux courriels et appels téléphoniques de celui-ci; ledit tribunal a requis l'intervention du Service de la protection de la jeunesse.
B.b Le 26 octobre 2007, X._ a pris pour épouse une ressortissante serbe nommée C._, ancienne requérante d'asile au bénéfice de l'admission provisoire dans le canton de Neuchâtel. Cette dernière a subséquemment demandé le regroupement familial auprès de son époux; cette procédure a été suspendue jusqu'à droit connu sur les conditions de séjour de l'intéressé.
C. S'agissant de son passé criminel, X._ a été condamné le 24 octobre 1995 à neuf mois d'emprisonnement et trois ans d'expulsion du territoire suisse, pour complicité d'infraction simple à la LStup et infraction au droit des étrangers; le 21 avril 1998, il s'est vu infliger une peine de six mois d'emprisonnement et de cinq ans d'expulsion du territoire suisse, pour mise en circulation et prise en dépôt de fausse monnaie; le 11 mars 2003, il a fait l'objet d'une condamnation à trois mois d'emprisonnement pour vol et complicité de rupture de ban; le 30 juillet 2003, il a été condamné à dix jours d'arrêts pour violation simple des règles de la circulation et conduite sans permis de conduire et, le 30 novembre 2005, à une peine de quinze jours d'emprisonnement pour les mêmes infractions. Un total de 49 jours de peine privative de liberté lui a été infligé en raison d'amendes impayées, les 11 et 27 décembre 2007. Le 28 novembre 2008, il a été reconnu coupable d'escroquerie et de violation des règles de la circulation routière et condamné à une peine de 150 jours-amende (le montant du jour-amende étant fixé à 40 fr.). Il a ainsi fait l'objet de plus de 20 mois de peines privatives de liberté, sans compter la dernière condamnation à 150 jours-amende.
D. Pour ce qui est de son parcours professionnel, on retiendra qu'à son arrivée en Suisse, X._ a travaillé comme ouvrier agricole de mars à novembre 1994, puis a été engagé comme aide-peintre le 21 février 1995. Il a ensuite connu une période de chômage entre 1995 et 1997, pendant laquelle il a toutefois pu obtenir des gains intermédiaires en travaillant comme peintre en bâtiment d'avril à octobre 1996. Il a trouvé une place fixe de peintre en juillet 1997, mais a dû cesser son activité en janvier 1999, à la suite d'une incapacité de travail totale due à une hernie discale, qui a perduré jusqu'à fin décembre 2000. Il a recommencé à travailler en mars 2001, d'abord par le biais d'une agence de placement, puis à un poste fixe le 1er juillet 2002. A partir de septembre 2003, il a de nouveau été en incapacité de travail puis s'est fait licencier avec effet immédiat au 1er juillet 2004 pour avoir exercé une activité professionnelle pour le compte d'un tiers durant son arrêt de travail, ce qui lui a également valu une condamnation pénale pour escroquerie. Après avoir obtenu un emploi intermédiaire à temps partiel en août 2004, il a trouvé un travail comme peintre le 19 juillet 2005 et a commencé à exercer cette profession comme indépendant depuis début décembre 2005, activité qu'il exerce toujours à son compte. S'il travaille désormais à son compte depuis fin 2005, c'est au mépris de la décision du Service de l'emploi du canton de Vaud du 6 novembre 2006, qui lui a refusé l'autorisation de travailler en tant qu'indépendant, attendu qu'il n'était pas titulaire d'une autorisation d'établissement. Enfin, sa situation financière est obérée: au printemps 2009, il faisait l'objet de poursuites à hauteur de plus de 33'000 fr. et 77 actes de défaut de biens pour un montant total dépassant 124'000 fr. avaient été délivrés à son encontre.
E. E.a Les rapports entre X._ et les autorités de police des étrangers ont de tout temps été délicats. Outre les décisions du 26 juillet 1991 et du 24 mars 1992, ci-dessus mentionnés, il faut signaler que, par décision du 30 août 1999, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé de renouveler l'autorisation de séjour de X._, au vu de la seconde condamnation pénale de celui-ci et de l'intensité relative de ses rapports avec B._. X._ a recouru contre ce prononcé le 22 septembre 1999 auprès du Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif). Dans ce contexte, le 11 octobre 1999, le Service de la population est revenu sur sa position, se déclarant disposé à renouveler l'autorisation de séjour de X._ durant trois ans à condition qu'il adopte un comportement irréprochable, qu'il conserve des contacts réguliers avec son enfant et contribue financièrement à son éducation et qu'il demeure financièrement autonome - termes que l'intéressé s'est engagé à respecter par déclaration écrite du 25 octobre 1999. Le Tribunal administratif a ainsi rayé l'affaire du rôle en date du 28 octobre 1999. Par courrier du 9 décembre 1999, le Service de la population a averti X._ qu'en cas d'inobservation d'une des conditions précitées, il n'hésiterait pas à statuer négativement sur ses conditions de séjour.
E.b Dans une nouvelle décision du 27 novembre 2003, le Service de la population a refusé de renouveler l'autorisation de séjour de X._ et ordonné son renvoi du territoire cantonal, retenant qu'il n'avait pas été possible d'établir clairement les contributions versées par le prénommé à son fils ni le rythme et le déroulement des visites, que l'intéressé n'avait toutefois pas démontré que sa présence en Suisse était indispensable au développement de son enfant, qu'il avait été à nouveau condamné malgré les avertissements reçus, qu'il n'avait pas fait preuve de stabilité professionnelle et avait eu recours au revenu minimum de réinsertion, et qu'il avait retardé la procédure en négligeant de répondre aux nombreuses convocations qui lui avaient été adressées entre octobre 2000 et l'été 2002. L'intéressé a recouru contre ce prononcé le 18 décembre 2003 auprès du Tribunal administratif. Par jugement du 26 mai 2005, ce dernier a admis le recours et renvoyé le dossier au Service de la population, qui a renouvelé l'autorisation de séjour de l'intéressé le 18 octobre 2005 puis, régulièrement, jusqu'au 27 juin 2008.
E.c En date du 8 juillet 2008, X._ a requis la prolongation de son autorisation de séjour, respectivement sa transformation en autorisation d'établissement, produisant notamment un extrait bancaire du 26 juin 2008 relatif à un compte établi dans le cadre de son activité lucrative indépendante qu'il avait poursuivie, ainsi qu'une attestation de l'Office des poursuites de Lausanne-Ouest du 30 juin 2008 indiquant qu'il faisait l'objet de poursuites à hauteur de 22'293 fr.80 et de 80 actes de défaut de biens à concurrence de 127'098 fr.10. Le 21 août 2008, le Service de la population a refusé de transformer l'autorisation de séjour en autorisation d'établissement, compte tenu des démêlés du prénommé avec la justice pénale et de sa situation financière obérée. Il s'est en revanche déclaré favorable à la prolongation de l'autorisation de séjour de l'intéressé (eu égard à la durée de son séjour en Suisse, à ses rapports avec son fils et à son récent remariage), sous réserve de l'approbation de l'Office fédéral des migrations (ci-après: l'Office fédéral). Aucun recours n'a été interjeté contre cette décision. A la suite d'un aller-retour du dossier entre l'Office fédéral et le Service de la population, ce dernier a confirmé le 20 juillet 2009 son préavis favorable à la prolongation de l'autorisation. Le 18 novembre 2009, l'Office fédéral a refusé son approbation à la prolongation de l'autorisation de séjour.
Le 30 janvier 2012, le Tribunal administratif fédéral a rejeté le recours formé contre la décision de l'Office fédéral du 18 novembre 2009.
F. X._ forme un recours en matière de droit public contre le jugement du Tribunal administratif fédéral. Il conclut principalement au renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants, subsidiairement à la réforme de l'arrêt entrepris "dans le sens que l'approbation à la prolongation de l'autorisation de séjour (...) est admise", le tout sous suite de frais et dépens.
L'Office fédéral conclut au rejet du recours alors que le Tribunal administratif fédéral ne s'est pas déterminé.

Considérant en droit:
1. Le Tribunal administratif fédéral a jugé la présente cause en application de l'ancien droit, soit la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113), au motif que le Service de la population avait octroyé le titre de séjour au recourant sans l'accord de l'Office fédéral. Toutefois, comme constaté par cet office dans son courrier du 8 décembre 2008 audit service, le recourant bénéficiait d'une autorisation de séjour valable régulièrement renouvelée jusqu'en 2008. L'intéressé en a requis la prolongation le 8 juillet 2008, soit après l'entrée en vigueur, le 1er janvier 2008, de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20); le cas doit dès lors être examiné au regard du nouveau droit (cf. art. 126 al. 1 LEtr).
2. 2.1 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral, ni le droit international ne donnent droit.
Le recourant invoque le droit interne, ainsi que l'art. 8 CEDH, en se prévalant de son intégration en Suisse, malgré les infractions commises dont il relativise la gravité, et du fait qu'il a obtenu la garde de son fils, qui possède une autorisation d'établissement. Dans la mesure où les dispositions topiques applicables au présent cas sont potentiellement de nature à lui conférer un droit à une autorisation de séjour, compte tenu, notamment, de la durée de son mariage avec une ressortissante italienne détentrice d'une autorisation d'établissement, son recours échappe au motif d'irrecevabilité de l'art. 83 let. c ch. 2 LTF.
A juste titre, le recourant ne remet pas en cause la décision de renvoi prononcée par les autorités fédérales, car le recours en matière de droit public est irrecevable en ce domaine (art. 83 let. c ch. 4 LTF).
2.2 Les autres conditions de recevabilité étant réunies, il se justifie d'entrer en matière.
3. 3.1 Aux termes de l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et l'intégration est réussie. Ces deux conditions sont cumulatives selon la jurisprudence (<ref-ruling> consid. 3.3.3 p. 119).
3.2 Le Tribunal administratif fédéral a établi que le recourant s'était marié le 24 juillet 1993, puis séparé de sa conjointe en octobre 2008, de sorte que la condition temporelle de l'art. 50 al. 1 let. a LEtr est remplie.
3.2 Le Tribunal administratif fédéral a établi que le recourant s'était marié le 24 juillet 1993, puis séparé de sa conjointe en octobre 2008, de sorte que la condition temporelle de l'art. 50 al. 1 let. a LEtr est remplie.
3.3 3.3.1 Le principe d'intégration veut que les étrangers, dont le séjour est légal et durable, participent à la vie économique, sociale et culturelle de la Suisse (art. 4 al. 2 LEtr; <ref-ruling> consid. 4.1 p. 4). En vertu de l'art. 77 al. 4 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), un étranger s'est bien intégré, au sens de l'art. 50 al. 1 let. a LEtr, notamment lorsqu'il respecte l'ordre juridique suisse et les valeurs de la Constitution fédérale (let. a) et qu'il manifeste sa volonté de participer à la vie économique et d'apprendre la langue nationale parlée au lieu de domicile (let. b). Selon l'art. 4 de l'ordonnance fédérale du 24 octobre 2007 sur l'intégration des étrangers (OIE; RS 142.205), la contribution des étrangers à l'intégration se manifeste notamment par le respect de l'ordre juridique et des valeurs de la Constitution fédérale (let. a), par l'apprentissage de la langue nationale parlée sur le lieu de domicile (let. b), par la connaissance du mode de vie suisse (let. c) et par la volonté de participer à la vie économique et d'acquérir une formation (let. d). Le Tribunal fédéral a précisé que l'adverbe "notamment", qui est employé tant à l'art. 77 al. 4 OASA qu'à l'<ref-law>, illustre le caractère non exhaustif des critères d'intégration qui sont énumérés par ces dispositions; il signale aussi que la notion d'"intégration réussie" doit s'examiner à l'aune d'une appréciation globale des circonstances. Dans l'examen de ces critères d'intégration, les autorités compétentes disposent d'un large pouvoir d'appréciation que le Tribunal fédéral ne revoit qu'avec retenue (cf. art. 54 al. 2 et 96 al. 1 LEtr ainsi qu'<ref-law>; cf. arrêts 2C_329/2012 du 29 juin 2012 consid. 2.2; 2C_427/2011 du 26 octobre 2011 consid. 5.2). Le Tribunal fédéral a relevé que, lorsqu'on est en présence d'un étranger qui est intégré professionnellement en Suisse, qui a toujours été indépendant financièrement, qui s'est comporté correctement et qui maîtrise oralement la langue parlée au lieu du domicile, des éléments sérieux sont nécessaires pour nier son intégration (cf. arrêts 2C_749/2011 du 20 janvier 2012 consid. 3.3; 2C_427/2011 du 26 octobre 2011 consid. 5.3 et les références citées).
3.3.2 En l'espèce, l'activité professionnelle du recourant, telle que décrite par le Tribunal administratif fédéral (cf. supra partie "Faits" let. D), montre que celui-ci a eu différents emplois, temporaires et de durée indéterminée, et qu'il n'a été inoccupé que pendant une période de chômage de quelques mois et pendant ses incapacités de travail dues à une hernie discale. L'intéressé a donc souvent été à la recherche de travail, mais a été capable de régulièrement en trouver pour finalement se mettre à son compte.
En revanche, sa situation financière est mauvaise puisqu'au printemps 2009 il faisait l'objet de poursuites pour plus de 33'000.- fr. et 77 actes de défaut de biens avaient été délivrés à son encontre pour un montant dépassant 124'000 fr. Parlent surtout en défaveur du recourant, ses condamnations pénales. Sept condamnations ont été prononcées à son égard pour un total de plus de 20 mois de peines privatives de liberté. Il s'est notamment rendu coupable d'infractions à la LStup, de mise en circulation et prise en dépôt de fausse monnaie, de vol et d'escroquerie à l'assurance pour avoir perçu des prestations pour une perte de gain pendant son arrêt de travail alors qu'il exerçait une activité lucrative. Il a ainsi démontré son incapacité à respecter l'ordre juridique suisse.
Les éléments qui précèdent font conclure à un manque d'intégration du recourant en Suisse.
3.4 En conclusion, l'intéressé ne peut tirer de droit à la prolongation de son autorisation de séjour sur la base de l'art. 50 al. 1 let. a LEtr, les conditions n'en étant pas remplies.
4. Le fils du recourant, de nationalité italienne, pourrait se prévaloir du droit de séjour sans activité lucrative conféré par l'art. 24 de l'Annexe I à l'Accord du 21 juin 1999 entre la Confédération suisse d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (Annexe I ALCP; RS 0.142.112.681), de sorte que le recourant pourrait à son tour invoquer le droit de demeurer avec son fils (arrêt 2C_574/2010 du 15 novembre 2010 consid. 2.2; arrêt du 19 octobre 2004 C-200/02 Zhu et Chen, Rec. 2004 I-9925).
Selon l'arrêt Zhu et Chen de la Cour de justice de l'Union européenne, l'article 18 CE et la directive 90/364/CEE du 28 juin 1990 du Conseil relative au droit de séjour confèrent un droit de séjour de durée indéterminée au ressortissant mineur en bas âge d'un Etat membre qui est couvert par une assurance-maladie appropriée et qui est à la charge d'un parent, lui-même ressortissant d'un Etat tiers, dont les ressources sont suffisantes (<ref-ruling> consid. 3.3 p. 269) pour que le premier ne devienne pas une charge pour les finances publiques de l'Etat membre d'accueil. Ces mêmes dispositions permettent au parent qui a effectivement la garde de cet enfant de séjourner avec lui dans l'Etat membre d'accueil.
A la différence de ce cas, le fils du recourant, qui est bientôt majeur, ne paraît plus être dépendant de son père; la présence du recourant ne semble donc pas indispensable à l'exercice du droit de séjour de son fils. Quoi qu'il en soit, la condition des ressources financières suffisantes n'est pas remplie, compte tenu de la situation pécuniaire obérée du recourant qui faisait l'objet, au printemps 2009, de poursuites et d'actes de défaut de biens à hauteur de 33'000.- fr. respectivement 124'000.- fr. Ainsi, le recourant ne peut tirer aucun droit de séjour de l'ALCP.
5. Le recourant se plaint d'une violation de l'art. 8 CEDH.
5.1 L'intéressé a obtenu la garde de son fils sur mesures provisionnelles du 1er juillet 2001; il bénéficie donc d'un droit sur la base de cette disposition.
5.2 Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible, selon l'art. 8 par. 2 CEDH, à certaines conditions précises et pour autant qu'elle soit proportionnée (cf. art. 8 par. 2 CEDH; <ref-ruling> consid. 2.1 et 2.2 p. 154; <ref-ruling> consid. 4.3 p. 381). Dans le cadre de cette pesée d'intérêts, en cas de condamnation de l'étranger pour crime ou délit, la peine infligée par le juge pénal est le premier critère à prendre en compte (cf. <ref-ruling>0 consid. 4.2 p. 23), les autres critères à considérer étant la durée du séjour en Suisse, l'âge d'arrivée dans ce pays, les relations sociales, familiales et professionnelles, le niveau d'intégration et les conséquences d'un renvoi pour l'intéressé et les membres de sa famille disposant d'un droit de présence en Suisse.
5.3 Le recourant, qui est arrivé en Suisse en 1993, a passé dix-huit ans dans notre pays. Il faut également retenir en sa faveur le fait qu'il a pris en charge l'éducation de son fils qui avait des relations extrêmement conflictuelles avec sa mère au point de ne plus vouloir vivre auprès de celle-ci et d'emménager chez son père en janvier 2011; le fait que le fils entreprenne un apprentissage de peintre, profession du recourant, a renforcé les liens les unissant. En ce qui concerne l'intégration professionnelle de l'intéressé, comme susmentionné (cf. consid. 3.3.2), le recourant a presque toujours trouvé du travail jusqu'au moment où il a décidé de pratiquer son activité de peintre en tant qu'indépendant, bien que le Service de l'emploi lui avait refusé l'autorisation nécessaire pour ce faire.
Plaide en défaveur du recourant, son comportement qui est loin d'avoir été correct. En effet, il a été condamné à sept reprises pour un total de plus de 20 mois de peines privatives de liberté (cf. partie "Faits" let. C et consid. 3.3.2). Ces peines s'étalent sur plusieurs années puisque la première remonte à 1998 et la dernière date de 2008 ce qui démontre que le respect de l'ordre juridique suisse n'est pas dans les préoccupations du recourant; d'ailleurs, le recourant a persisté dans ses activités délictueuses malgré l'avertissement qu'a constitué le refus du 30 août 1999 du Service de la population de renouveler son autorisation de séjour - qui est revenu sur sa position lors de la procédure de recours - au motif qu'il avait été condamné pour la seconde fois; en outre, les infractions commises l'ont été dans des domaines différents (stupéfiants, mise en circulation et prise en dépôt de fausse monnaie, vol, escroquerie, violation du droit des étrangers et des règles de la circulation), révélant que le recourant n'hésite pas à violer la loi lorsque cela sert ses intérêts. Pour évaluer les conséquences d'un renvoi, il faut prendre en considération le fait que, quoiqu'il ait séjourné de nombreuses années dans notre pays, le recourant n'y est arrivé qu'à l'âge adulte. Il a passé plus de temps dans son pays d'origine où il a vécu toute son enfance, son adolescence et sa vie de jeune adulte; il y a effectué toute sa scolarité et son service militaire; il en parle donc la langue et en connaît la culture et les coutumes. Même s'il prétend ne plus connaître personne dans son pays, une réintégration, compte tenu des éléments susmentionnés et du fait qu'il pourra y exercer son métier de peintre, paraît possible. A cet égard, la femme du recourant, qui appartient à la minorité serbe du Kosovo et qui est arrivée dans notre pays à 33 ans, ne bénéficie que d'une admission provisoire en Suisse. Bénéficie, en revanche, d'un droit de présence dans notre pays, le fils de recourant, qui y est né. Il ne peut être exigé de ce fils, qui est en formation professionnelle et qui a sa famille du côté maternelle ici, qu'il quitte la Suisse pour suivre son père. Toutefois, le maintien du lien pourra se faire par des visites mutuelles, le fils de l'intéressé pouvant également, compte tenu de son âge, se rendre auprès de son père.
Au regard de ce qui précède, l'intérêt public à éloigner le recourant l'emporte sur son intérêt privé à séjourner en Suisse. En lui refusant la prolongation de son autorisation de séjour, le Tribunal administratif fédéral a correctement appliqué le droit fédéral et international.
6. Les considérants qui précèdent conduisent au rejet du recours en matière de droit public. Succombant, le recourant doit supporter les frais de la procédure (<ref-law>) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 11 janvier 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon