Faits:
A. A.a X._, ressortissant du Cap-Vert né en 1973, est entré en Suisse le 3 avril 2003. Il a obtenu le 20 février 2004 une autorisation de travail et de séjour de courte durée CE/AELE, grâce à un passeport portugais falsifié. Cet élément a conduit le Service de la population du canton de Vaud (ci-après: le Service de la population) à refuser de prolonger, le 31 mai 2005, l'autorisation de séjour de l'intéressé.
A la suite à son mariage, le 20 mai 2005, avec Y._, ressortissante portugaise, l'intéressé a pu bénéficier d'une autorisation de séjour CE/AELE au titre du regroupement familial; le recours interjeté contre la décision du 31 mai 2005 devant le Tribunal administratif du canton de Vaud, devenu la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal) a alors été déclaré sans objet. De cette union, est né en 2007, Z._, de nationalité portugaise et détenant une autorisation de séjour. Le couple s'est séparé au mois d'octobre 2009 et l'enfant vit auprès de sa mère. Les époux envisagent d'engager une procédure de divorce.
Depuis octobre 2009, X._ vit à A._ chez sa compagne actuelle, B._, ressortissante portugaise titulaire d'une autorisation de séjour. Le couple a eu un enfant, C._, né en 2011, qui a aussi la nationalité portugaise.
X._ est également père de six autres enfants (de mères différentes) répartis entre le Cap-Vert, l'Espagne et le Portugal. Il a suivi sa scolarité obligatoire au Cap Vert. Depuis qu'il vit en Suisse, il a travaillé comme aide-maçon, maçon et chef de chantier au sein de différentes entreprises vaudoises. Il a en outre créé deux sociétés actives dans le secteur de la construction entre 2007 et 2009: D._ Sàrl et E._ Sàrl. Toutes deux ont depuis été radiées du registre du commerce. Depuis le 3 octobre 2011, l'intéressé exerce en qualité de maçon sur la base d'un contrat de durée indéterminée qui le lie à l'entreprise de construction F._.
A.b Durant son séjour en Suisse, X._ a fait l'objet de plusieurs condamnations pénales.
Deux d'entre elles ont trait à l'utilisation, lors de son arrivée en Suisse, de documents d'identité portugais falsifiés. Il a ainsi été condamné, en date du 4 septembre 2003, par les autorités pénales compétentes, à dix jours d'emprisonnement avec sursis pendant deux ans pour infraction au droit des étrangers et, en date du 11 août 2005, à dix jours d'emprisonnement avec sursis pendant trois ans pour faux dans les certificats.
Dans le cadre de ses activités au sein de la société E._ Sàrl, il a en outre été condamné, le 28 janvier 2011, par le Tribunal correctionnel de Lausanne, à une peine privative de liberté de quinze mois et à une peine pécuniaire de soixante jours-amendes ferme pour abus de confiance et infraction à différentes lois sur les assurances sociales.
Après avoir purgé sa peine, X._ est retourné vivre avec sa compagne à A._.
A.c Par décision du 12 mai 2011, le Service de la population a révoqué l'autorisation de séjour de X._ et a prononcé son renvoi de Suisse. Il a en substance retenu que l'intéressé ne vivait plus avec son épouse depuis le mois d'octobre 2009, que son comportement avait donné lieu à plusieurs condamnations pénales et que les liens familiaux qui l'unissaient à ses enfants n'étaient pas particulièrement forts; il ne payait plus les pensions alimentaires en faveur de Z._ et, même s'il l'appelait régulièrement, il ne lui rendait visite qu'occasionnellement; il n'était, en outre, pas établi qu'il avait des relations étroites avec C._; dans ces conditions, l'intégration de l'intéressé en Suisse ne pouvait être qualifiée de réussie et celui-ci ne pouvait pas invoquer de raisons personnelles majeures afin d'y poursuivre son séjour.
B. Le Tribunal cantonal a, par arrêt du 6 mars 2012, rejeté le recours formé par X._ contre la décision du Service de la population.
C. X._ forme un recours en matière de droit public contre le jugement cantonal du 6 mars 2012. Il demande au Tribunal fédéral, sous suite de frais et dépens, de lui accorder une autorisation de séjour, ainsi que l'assistance judiciaire.
Aucun échange d'écriture n'a été ordonné.
Par ordonnance du 13 avril 2012, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours.

Considérant en droit:
1. Le recourant invoque, entre autres dispositions et à l'appui d'une argumentation plausible, le bénéfice de l'art. 8 CEDH. Dès lors que cette disposition est susceptible de fonder un droit à demeurer en Suisse, le recours en matière de droit public échappe au grief d'irrecevabilité fondé sur l'art. 83 let. c ch. 2 LTF et il peut donc être entré en matière.
2. A juste titre, le recourant ne se prévaut plus des art. 4 et 7 de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (RS 0.142.112.681) puisqu'il vit séparé de son épouse. Il invoque, par contre, une mauvaise application de l'art. 50 al. 1 let. a de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20).
2.1 Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste lorsque l'union conjugale a duré au moins trois ans et que l'intégration est réussie.
L'union conjugale du recourant et de son épouse a duré plus de trois ans, si bien que seule demeure litigieuse l'exigence d'une intégration réussie.
2.2 Les principes présidant à l'analyse de la condition du degré d'intégration ont été rappelés de manière exacte par le Tribunal cantonal. Le principe d'intégration veut que les étrangers, dont le séjour est légal et durable, participent à la vie économique, sociale et culturelle de la Suisse (art. 4 al. 2 LEtr; <ref-ruling> consid. 4.1 p. 4). En vertu de l'art. 77 al. 4 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), un étranger s'est bien intégré, au sens de l'art. 50 al. 1 let. a LEtr, notamment lorsqu'il respecte l'ordre juridique suisse et les valeurs de la Constitution fédérale (let. a) et qu'il manifeste sa volonté de participer à la vie économique et d'apprendre la langue nationale parlée au lieu de domicile (let. b). Selon l'art. 4 de l'ordonnance fédérale du 24 octobre 2007 sur l'intégration des étrangers (OIE; RS 142.205), la contribution des étrangers à l'intégration se manifeste notamment par le respect de l'ordre juridique et des valeurs de la Constitution fédérale (let. a), par l'apprentissage de la langue nationale parlée sur le lieu de domicile (let. b), par la connaissance du mode de vie suisse (let. c) et par la volonté de participer à la vie économique et d'acquérir une formation (let. d). L'adverbe "notamment", qui est employé tant à l'art. 77 al. 4 OASA qu'à l'<ref-law>, illustre le caractère non exhaustif des critères d'intégration qui sont énumérés par ces dispositions; il signale aussi que la notion d'"intégration réussie" doit s'examiner à l'aune d'une appréciation globale des circonstances. Dans l'examen de ces critères d'intégration, les autorités compétentes disposent d'un large pouvoir d'appréciation que le Tribunal fédéral ne revoit qu'avec retenue (cf. art. 54 al. 2 et 96 al. 1 LEtr ainsi qu'<ref-law>; cf. arrêts 2C_749/2011 du 20 janvier 2012 consid. 3.2; 2C_427/2011 du 26 octobre 2011 consid. 5.2). Le Tribunal fédéral a relevé que, lorsqu'on est en présence d'un étranger qui est intégré professionnellement en Suisse, qui a toujours été indépendant financièrement, qui s'est comporté correctement et qui maîtrise oralement la langue parlée au lieu du domicile, des éléments sérieux sont nécessaires pour nier son intégration (cf. arrêts 2C_749/2011 du 20 janvier 2012 consid. 3.3; 2C_427/2011 du 26 octobre 2011 consid. 5.3 et les références citées).
2.3 En l'espèce, le Tribunal cantonal a pris en compte, dans la subsomption, l'ensemble des critères pertinents ci-dessus rappelés. Ainsi en va-t-il en particulier de la volonté du recourant de participer à la vie économique, de la qualité de son travail, du fait qu'il est apprécié par son employeur et de son voisinage. Ont également été pris en compte, dans la pesée des intérêts, le fait qu'il maîtrise peu le français, qu'il semble entretenir pour l'essentiel des contacts avec des personnes issues de la communauté lusophone, les dettes accumulées dépassant les 21'000 fr. auxquelles s'ajoutent les quelque 100'000 fr. de prétentions civiles accordées aux parties lésées dans le cadre du jugement du 28 janvier 2011 ou encore le fait qu'il ne paie plus les pensions alimentaires dues à son fils Z._ depuis le mois de décembre 2010, alors même qu'il disposerait d'un revenu régulier pour ce faire. Certes, le recourant prétend bien maîtriser le français, contrairement à ce qu'a retenu le Tribunal cantonal; il en veut pour preuve le fait que la procédure pénale s'est déroulée sans l'assistance d'un interprète. Si, effectivement, cet élément fait douter de la conclusion selon laquelle ledit tribunal "devinait" que le niveau de français du recourant demeurait insatisfaisant, il ne suffit pas à remettre en cause le jugement selon lequel l'intégration de l'intéressé n'est pas réussie au sens de l'art. 50 al. 1 let. a LEtr. En effet, à elle seule, la peine de quinze mois d'emprisonnement suffit à considérer que tel n'est pas le cas.
C'est, ainsi, à juste titre que le Tribunal cantonal a insisté sur les activités délinquantes du recourant qui l'ont conduit à devoir assumer, notamment, une condamnation à quinze mois d'emprisonnement: dans le cadre de son activité en qualité d'entrepreneur, l'intéressé n'avait pas versé les cotisations sociales et de prévoyance professionnelle qu'il avait pourtant retenues sur les salaires; il avait, en outre, envoyé au Cap-Vert un véhicule qu'il avait en leasing. Le tribunal pénal a en particulier retenu que la culpabilité du recourant était lourde, celui-ci ayant "manifestement agi sans scrupules" et n'ayant pas hésité à flouer "même un ami d'enfance qui lui prêtait main forte".
Dans de telles circonstances, il n'était pas envisageable de conclure à une intégration réussie, et ce en dépit des éléments positifs relevés par le Tribunal cantonal. Il suffit pour le reste de renvoyer sur ce point à l'arrêt entrepris. Le grief de violation de l'<ref-law> doit donc être rejeté.
3. Le recourant invoque ensuite le bénéfice de l'art. 8 CEDH, se prévalant en particulier d'une pesée des intérêts inexacte.
3.1 Selon la jurisprudence, un étranger peut, selon les circonstances, se prévaloir du droit au respect de sa vie privée et familiale au sens de l'art. 8 par. 1 CEDH, pour s'opposer à une éventuelle séparation de sa famille. Cet article s'applique en effet lorsqu'un étranger fait valoir une relation intacte avec ses enfants bénéficiant du droit de résider en Suisse, même si ces derniers ne sont pas placés sous son autorité parentale ou sa garde du point de vue du droit de la famille (arrêts 2C_723/2010 du 14 février 2011 consid. 5.2 et les références citées, notamment l'<ref-ruling> consid. 1d p. 3).
Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible, selon l'art. 8 par. 2 CEDH, à certaines conditions précises, notamment lorsqu'une telle mesure est nécessaire à la défense de l'ordre et à la prévention des infractions pénales. L'application de cette disposition implique une pesée des intérêts en présence (cf. <ref-ruling> consid. 2.1 et 2.2 p. 154 ss; arrêt 2C_295/2009 du 25 septembre 2009 consid. 4.3) largement similaire à celle que prescrit le droit interne (cf. art. 96 LEtr; arrêt 2C_547/2011 consid. 5.2 et les références citées). Le parent qui entend se prévaloir de la garantie de l'art. 8 CEDH doit entretenir un lien particulièrement fort avec son enfant pour qu'un droit de visite plus étendu que celui pouvant s'exercer depuis l'étranger (cf. arrêt 2C_171/2009 du 3 août 2009 consid. 2.2) puisse exister (regroupement familial à rebours, cf. <ref-ruling> consid. 1.3.2 p. 146). Ces liens familiaux doivent être particulièrement forts d'un point de vue affectif et économique (cf. arrêt 2C_710/2009 du 7 mai 2010 consid. 3.1 et la référence citée); il faut également que, en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent, cette relation ne puisse pratiquement pas être maintenue. A cela s'ajoute que l'étranger en question doit avoir fait preuve en Suisse d'un comportement irréprochable. C'est seulement à ces conditions que l'intérêt privé du parent étranger à demeurer en Suisse peut l'emporter sur l'intérêt public que revêt une politique migratoire restrictive (<ref-ruling> consid. 3c p. 5, 22 consid. 4a p. 25; arrêts 2C_555/2011 du 29 novembre 2009 consid. 3.1 et les références citées).
3.2 S'agissant tout d'abord des liens invoqués avec les enfants du recourant en Suisse, il convient de relever que celui-ci ne rend visite qu'occasionnellement à l'enfant Z._ dont il ne paie plus les pensions alimentaires. En ce qui concerne C._, né en 2011, le Tribunal cantonal a retenu que "l'on peut concevoir en l'espèce une relation affective et économique de fait" entre le recourant et cet enfant. Il n'a toutefois, à juste titre, pas manqué de mettre en évidence le parcours de X._ qui n'accrédite guère sa volonté future de s'investir auprès de Z._ et de C._. Il est, en effet, relevé que le recourant est père de huit enfants de femmes différentes, tous vivant auprès de leur mère ou auprès de parents au Cap-vert, en Espagne et au Portugal. Dans de telles circonstances, précise le Tribunal cantonal, "on imagine mal le recourant assumer à l'avenir davantage ses responsabilités parentales envers ceux de ses enfants qui résident en Suisse qu'à l'endroit des six autres disséminés à travers le monde". L'existence de liens particulièrement forts, affectifs et économiques, envers ses enfants n'est ainsi nullement établie.
A cela s'ajoute que le recourant a commis plusieurs délits en Suisse (cf. consid. 2.3) et que son comportement est loin de répondre à l'exigence jurisprudentielle du comportement irréprochable.
C'est donc à juste titre que le Tribunal cantonal a nié le droit à l'octroi d'une autorisation de séjour fondée sur l'art. 8 CEDH.
4. Au vu de ce qui précède, le recours doit être rejeté. Dans la mesure où il était d'emblée dénué de chances de succès, il n'y a pas lieu d'accorder le bénéfice de l'assistance judiciaire au recourant (<ref-law>), lequel supportera en conséquence les frais judiciaires (<ref-law>). Ceux-ci prennent, toutefois, en compte la situation patrimoniale du recourant.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 29 juin 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon