Faits:
A. X._, né en 1968, ressortissant portugais originaire du Cap Vert, est arrivé en Suisse en 1986 et y a séjourné le plus souvent illégalement jusqu'à son mariage avec une ressortissante suisse, A._, le 16 janvier 1999. Deux enfants, B._, né le *** 1998 et C._, né le *** 2006, sont issus de cette union, dissoute par jugement de divorce du 5 septembre 2008. L'intéressé a été mis au bénéfice d'une autorisation de séjour CE/AELE de longue durée depuis le 28 juin 1999.
X._ est également le père de D._, née le *** 2005, de nationalité portugaise, qui vit avec sa mère à E._, ainsi que de trois autres enfants nés de mères différentes, dont deux vivent au Portugal, F._, née en 2000 et G._, née en 2002, alors que le troisième, H._, né en 2004, vit en France.
B. Depuis son arrivée en Suisse, X._ a fait l'objet de nombreuses condamnations pénales, principalement pour infractions à l'ancienne loi fédérale sur le séjour et l'établissement des étrangers (LSEE) et à la loi fédérale sur la circulation routière (LCR). Au 27 octobre 2010, les quatorze condamnations suivantes figuraient encore à son casier judiciaire:
- 1er mai 2002, par le Tribunal correctionnel de La Broye et du Nord vaudois: 4 mois d'emprisonnement, avec sursis révoqué le 8 juillet 2004, pour lésions corporelles graves par dol éventuel, commises en l'état d'excès de légitime défense au sens de l'art. 122 al. 1 et 33 al. 2 1ère phrase CP, ainsi que pour violations graves et simples des règles de la circulation routière en état d'ivresse;
- 22 octobre 2002, par le Juge d'instruction de Lausanne: 30 jours d'arrêts et 1'000 francs d'amende pour infractions à la LCR;
- 16 décembre 2002, par le Juge d'instruction de Fribourg, 30 jours d'arrêts et 750 francs d'amende (circulation malgré un retrait ou un refus du permis de conduire);
- 17 janvier 2003, par le Procureur général de Genève, 10 jours d'arrêts avec sursis pendant un an (révoqué le 8 juillet 2008) et 500 francs d'amende (circulation malgré un retrait ou refus du permis de conduire);
- 5 novembre 2003, par le Juge d'instruction du Bas-Valais, 30 jours d'emprisonnement et 600 francs d'amende (violation des règles de la circulation routière, opposition à une prise de sang);
- 8 juillet 2004, par le Juge d'instruction de La Côte, 2 mois d'emprisonnement et 100 francs d'amende (conducteur pris de boisson, circulation malgré un retrait ou refus du permis de conduire);
- 12 octobre 2004, par le Juge d'instruction de Fribourg, 800 francs d'amende (violation grave des règles de la circulation routière);
- 26 septembre 2005, par le Ministère public du canton de Genève, un mois d'emprisonnement et 1000 francs d'amende (conduite sans permis de conduire ou malgré un retrait);
- 30 novembre 2006, par le Juge d'instruction de Fribourg, 40 jours d'emprisonnement et 1000 francs d'amende (violation des règles de la circulation routière, conduite sans permis de conduire ou malgré un retrait);
- 27 février 2007, par le Préfet de Lausanne, 600 fr. d'amende avec délai de mise à l'épreuve, pour infraction à la LSEE;
- 20 septembre 2007, par le Tribunal correctionnel de l'arrondissement de Lausanne, peine privative de 15 mois et 1'500 francs d'amende pour tentative d'instigation à faux témoignage, infraction à la LSEE, infraction à la LAVS, infraction à la LPP, infraction à la LAPG, infraction à la LAI, violations simples et graves des règles de la circulation routière, conduite en état d'ébriété qualifiée et conduite malgré un retrait de permis de conduire. Ce jugement a été confirmé par le Tribunal cantonal, le 14 novembre 2007, puis par la Cour de cassation pénale du Tribunal fédéral, le 30 mai 2008 (6B_353/2008);
- 14 décembre 2007, par le Juge d'instruction de Lausanne, 200 heures de travail d'intérêt général pour infractions à la LCR, peine complémentaire à celle du 14 novembre 2007;
- 15 juillet 2008, par le Juge d'instruction de Fribourg, peine privative de 3 mois pour infractions à la LCR et violation d'une obligation d'entretien;
- 15 septembre 2010, par le Juge d'instruction de La Côte, 45 jours-amendes à 10 francs pour violation simple des règles de circulation, conduite malgré un retrait du permis de conduire, conduite d'un véhicule non couvert par une assurance-responsabilité civile et usage abusif de plaques; en revanche, l'intéressé a bénéficié d'un non-lieu sur le chef d'infraction à la LSEE, en vertu du principe de la lex mitior, ainsi que pour d'autres infractions à la LCR.
Sur le plan financier, la situation de X._ est obérée, notamment en raison de l'activité indépendante qu'il a exercée comme entrepreneur dans le domaine de la construction. Il a ainsi fait l'objet d'actes de défaut de biens pour plus de 380'000 francs et de poursuites pour près de 185'000 francs, selon l'extrait de l'Office des poursuites de Lausanne-ouest du 5 février 2010. Il a également été l'objet de nombreuses poursuites et actes de défaut de biens dans le canton de Fribourg.
C. Par décision du 28 octobre 2010, le Service de la population du canton de Vaud a prononcé la révocation de l'autorisation de séjour de X._ et lui a imparti un délai immédiat pour quitter la Suisse.
Saisi d'un recours de l'intéressé contre cette décision, le Tribunal cantonal du canton de Vaud (Cour de droit administratif et de droit public) l'a rejeté, par arrêt du 26 mars 2012. Il a retenu en bref que le recourant avait confirmé le pronostic défavorable émis dans le jugement du 20 septembre 2007 en commettant de nouvelles infractions à la LCR de mars à juillet 2008 et qu'il représentait bien une menace grave et actuelle pour l'ordre public, au vu de la gravité et de la fréquence des délits commis. Il n'avait pas non plus établi qu'il entretenait des contacts réguliers avec ses trois enfants résidant en Suisse. En outre, comme il avait aussi de la famille au Portugal, son renvoi respectait le principe de la proportionnalité.
D. Agissant par la voie du recours en matière de droit public, X._ conclut, avec suite de frais et dépens, à l'annulation de la décision du Service de la population du 28 octobre 2010, la révocation de son autorisation de séjour et son renvoi de Suisse étant annulés.
Le Tribunal cantonal se réfère aux considérants de son arrêt et le Service de la population renonce également à se déterminer. Quant à l'Office fédéral des migrations, il propose le rejet du recours.
E. Par ordonnance présidentielle du 1er mai 2012, l'effet suspensif a été attribué au recours.

Considérant en droit:
1. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Le recourant étant de nationalité portugaise, il peut se prévaloir de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). Ce Traité confère en principe aux ressortissants des Etats membres de l'Union européenne et de la Suisse le droit d'entrer sur le territoire d'une autre partie contractante (art. 1 let. a et 3 ALCP), ainsi que le droit d'y séjourner et d'accéder à la vie économique sous réserve des dispositions de l'<ref-law> et conformément aux dispositions de l'annexe I ALCP (art. 1 let. a et 4 ALCP). Par conséquent, le présent recours est recevable sous l'angle de l'art. 83 let. c ch. 2 LTF (<ref-ruling> consid. 1.1 p.179).
1.1 Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le recours en matière de droit public est donc en principe recevable.
1.2 En raison de l'effet dévolutif du recours déposé auprès du Tribunal cantonal (<ref-ruling> consid. 1.2 p. 543), les conclusions du recours tendant à l'annulation de la décision du Service de la population sont irrecevables. Au vu de l'intitulé de l'acte de recours, on peut cependant en déduire que celui-ci est aussi dirigé contre l'arrêt du Tribunal cantonal du 26 mars 2012, dont il demande implicitement l'annulation.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF) dans le cadre des griefs invoqués (<ref-law>), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été soulevé et motivé par le recourant conformément au principe d'allégation (<ref-law>). En outre, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). La notion de "manifestement inexacte" de l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4). La correction du vice doit être susceptible d'influer sur le sort de la cause (cf. <ref-law>). Il appartient à la partie recourante qui entend s'écarter des constatations de l'autorité précédente d'expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées. A ce défaut, un état de fait divergent de celui de la décision attaquée ne peut être pris en compte (cf. <ref-ruling> consid. 1.4 et 6.2 p. 287 ss).
En l'espèce, le recourant reproche à tort au Tribunal cantonal d'avoir retenu qu'il avait été condamné à une peine pécuniaire de 45 jours-amende à 10 fr. le 15 septembre 2010, alors qu'il avait bénéficié d'un non-lieu. Cette condamnation a en effet bien été prononcée par le Juge d'instruction de La Côte pour diverses infractions à la LCR qui ne concernaient pas celles pour lesquelles un non-lieu a été rendu. Il est vrai que dite condamnation concernait des infractions commises entre mars et juillet 2008, de sorte que l'on peut admettre le fait que, depuis lors, le recourant n'a plus commis de délits.
3. 3.1 L'autorisation de séjour CE/AELE « type B » du recourant est qualifiée de longue durée par les autorités cantonales. Comme l'ALCP ne réglemente pas en tant que telles les situations donnant lieu au retrait d'une autorisation de séjour UE/AELE, c'est l'art. 62 de la loi fédérale sur les étrangers (LEtr; RS 142.20) qui est applicable (art. 2 al. 2 LEtr et 23 al. 1 de l'ordonnance sur l'introduction à la libre circulation des personnes: OLCP; RS 142.203). Dès lors qu'il constitue une limite à la libre circulation des personnes, le retrait de l'autorisation doit néanmoins être conforme aux exigences de l'ALCP.
3.1.1 L'autorisation peut notamment être révoquée si l'étranger a été condamné à une peine privative de liberté de longue durée (art. 62 let. b LEtr), soit à une peine dépassant un an d'emprisonnement (<ref-ruling> consid. 4.2 p. 380 ss) ou s'il attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (art. 62 let. c LEtr).
3.1.2 Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse pour y exercer une activité lucrative ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law>. L'alinéa 2 de cette disposition se réfère à cet égard aux directives correspondantes de la Communauté européenne, en particulier la directive 64/221/CEE du 25 février 1964 pour la coordination des mesures spéciales aux étrangers en matière de déplacement et de séjour justifiées par des raisons d'ordre public, de sécurité publique et de santé publique. Les limitations au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Le recours par une autorité nationale à la notion d'ordre public suppose, en tous cas, l'existence, en dehors du trouble pour l'ordre social que constitue toute infraction à la loi, d'une menace réelle et suffisamment grave, affectant un intérêt fondamental de la société (<ref-ruling> consid. 4.2 p. 20). Une condamnation pénale antérieure ne peut ainsi être prise en considération que si les circonstances les entourant font apparaître l'existence d'une menace actuelle pour l'ordre public (<ref-ruling> consid. 3.2 p. 499 et les arrêts cités; cf. également <ref-ruling> consid. 4.3 p. 24 qui souligne le "rôle déterminant" du risque de récidive). Selon les circonstances, la jurisprudence admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (<ref-ruling> consid. 3.4.1 p. 183 et l'arrêt cité de la CJCE du 27 octobre 1977 C-30/77 Bouchereau, Rec. 1977 p. 1999 point 29). Dans ce cas, il ne doit pas être établi avec certitude que l'étranger commettra d'autres infractions à l'avenir; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. Compte tenu de la portée que revêt le principe de la libre circulation des personnes, ce risque ne doit, en réalité, pas être admis trop facilement. Il faut bien plutôt l'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée (<ref-ruling> consid. 3.3 p. 499 ss; arrêt 2C_547/2010 du 10 décembre 2010 consid. 3). L'évaluation du risque de récidive sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 4.2 p. 20; ATF 130 Il 493 consid. 3.3 p. 499 ss; arrêt 2C_238/2012 du 30 juillet 2012, consid. 2.3).
3.1.3 La révocation de l'autorisation doit également être proportionnelle (cf. <ref-ruling> consid. 4.3 et 4.5; arrêt 2C_980/2011 du 22 mars 2012, consid. 3.4). Dans le cadre de cette pesée d'intérêts, il y a notamment lieu de prendre en compte la durée du séjour en Suisse, l'âge d'arrivée dans ce pays, les relations sociales, familiales et professionnelles, le niveau d'intégration et les conséquences d'un renvoi. L'autorisation d'un étranger qui réside de longue date en Suisse ne peut être révoquée qu'avec retenue. En cas d'actes pénaux graves et de récidive, respectivement en cas de délinquance persistante, il existe en général un intérêt public important à mettre un terme à la présence de l'étranger en Suisse dans la mesure où ce type de comportement porte atteinte à la sécurité et à l'ordre publics (arrêt 2C_839/2011 du 28 février 2012 consid. 2.3; arrêt 2C_903/2010 du 6 juin 2011 consid. 3.1 non publié in <ref-ruling>; <ref-ruling> consid. 4.4.2 p. 190).
3.2 En l'espèce, le recourant n'a pas été condamné pour des actes de violence criminelle ou pour violation de la loi fédérale sur les stupéfiants, domaines pour lesquels le Tribunal fédéral se montre particulièrement rigoureux pour évaluer la menace que représente un étranger (arrêt précité 2C_238/2012 du 30 juillet 2012, consid. 2.3 i.f. et la jurisprudence citée). Sa condamnation pour lésion corporelles graves en mai 2002, à la suite d'une altercation avec un collègue de travail qu'il avait sérieusement blessé, demeure un cas unique. Prises isolément, les condamnations prononcées à l'encontre du recourant, si elles ne doivent pas être minimisées, ne sont pas non plus très graves et seule l'une d'entre elles, de quinze mois d'emprisonnement en 2007, dépasse la durée d'une année pour être qualifiée de peine privative de « longue durée » au sens de l'art. 62 let. b LEtr et de la jurisprudence (<ref-ruling> consid. 2.3 p. 300 ss; <ref-ruling> consid. 4.2 p. 380). En fait, le recourant a été condamné principalement pour des infractions à la LCR et des infractions commises dans le cadre de son activité indépendante, où il a notamment employé des travailleurs étrangers sans autorisations de séjour et n'a pas payé les cotisations sociales dues à la Fédération vaudoise des entrepreneurs. Parmi les violations aux règles de la circulation, plusieurs démontrent que le recourant n'a pas hésité à mettre en danger la vie d'autrui en conduisant sous l'influence de l'alcool et sous le coup d'un retrait de permis. Il a donc eu de la chance de n'avoir pas provoqué d'accident. Dans ce contexte, les premiers juges ont retenu que le recourant n'avait pas tiré les leçons de ses précédentes condamnations, qui avaient débuté en décembre 1999 déjà, puisqu'il avait confirmé le pronostic défavorable émis en septembre 2007 par le Tribunal correctionnel de l'arrondissement de Lausanne, en commettant de nouvelles infractions entre mars et juillet 2008. Ils ont ainsi estimé qu'il y avait risque de récidive. De son côté, le recourant relève qu'il n'a pas commis de nouvelles infractions depuis plus de quatre ans, de sorte qu'il ne représenterait pas une menace grave et actuelle pour l'ordre et la sécurité publics. Il aurait également réussi le test psychologique lui permettant de se présenter à l'examen théorique et pratique de conduite. Les risques de mauvaise gestion d'une entreprise comme indépendant seraient aussi écartés, dans la mesure où il travaille maintenant comme salarié. Ces arguments ne manquent pas de pertinence pour évaluer la proportionnalité de la révocation de l'autorisation par rapport à l'intérêt public en jeu. Bien que son cas soit limite en raison de son comportement pénalement répréhensible qui s'est étendu sur de nombreuses années, il faut en effet reconnaître que les circonstances actuelles ne permettent pas de considérer qu'il représente une menace réelle et suffisamment grave pour l'ordre public qui permettrait de restreindre le droit de demeurer en Suisse et d'y exercer une activité que lui confère l'ALCP (cf. <ref-ruling> consid. 4.2 p. 20; <ref-ruling> consid. 3.2 p. 499 et les références citées). Le recourant doit toutefois être rendu attentif que la restitution de son autorisation de séjour implique qu'il ne commette plus de nouveaux délits, en particulier en matière de circulation routière. S'il devait récidiver, il s'exposerait à des mesures d'éloignement (cf. arrêt 2C_902/2011 du 14 mai 2012, consid. 3). Il y a donc lieu de lui adresser un avertissement formel en ce sens (art. 96 al. 2 LEtr).
3.3 Dans ces conditions, il n'est pas nécessaire d'examiner encore si le recourant entretient une relation suffisamment étroite et effective avec ses trois enfants se trouvant en Suisse (sur cette notion cf. <ref-ruling> consid. 5.2 p. 211 et les arrêts cités) pour se prévaloir de l'art. 8 § 1 CEDH.
4. Au vu de ce qui précède, le recours doit être admis dans la mesure où il est recevable et l'arrêt attaqué annulé. L'affaire sera renvoyée au Service cantonal de la population pour qu'il restitue au recourant l'autorisation de séjour qu'il avait révoquée.
Le présent arrêt sera rendu sans frais (<ref-law>). Le recourant est représenté par une juriste qui n'est pas avocate. Des dépens peuvent ainsi lui être alloués en application de l'art. 9 du règlement sur les dépens alloués à la partie adverse et sur l'indemnité pour la représentation d'office dans les causes portées devant le Tribunal fédéral (RS 173.110.210.3); ceux-ci seront mis à la charge du canton de Vaud (<ref-law>).
L'affaire sera également renvoyée au Tribunal cantonal pour fixation des frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis dans la mesure où il est recevable et l'arrêt attaqué est annulé.
2. L'affaire est renvoyée au Service de la population du canton de Vaud pour qu'il restitue au recourant l'autorisation de séjour révoquée.
3. Un avertissement selon l'art. 96 al. 2 LEtr est adressé au recourant, dans le sens des considérants.
4. Il n'est pas perçu de frais judiciaires.
5. Le canton de Vaud versera au recourant une indemnité de 1'500 fr. à titre de dépens.
6. L'affaire est envoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure cantonale.
7. Le présent arrêt est communiqué à la représentante du recourant, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 29 octobre 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat