Faits: A. A.a X._, ressortissant du Cap-Vert né en 1973, est entré en Suisse le 3 avril 2003. Il a obtenu le 20 février 2004 une autorisation de travail et de séjour de courte durée CE/AELE, grâce à un passeport portugais falsifié. Cet élément a conduit le Service de la population du canton de Vaud (ci-après: le Service de la population) à refuser de prolonger, le 31 mai 2005, l'autorisation de séjour de l'intéressé. A la suite à son mariage, le 20 mai 2005, avec Y._, ressortissante portugaise, l'intéressé a pu bénéficier d'une autorisation de séjour CE/AELE au titre du regroupement familial; le recours interjeté contre la décision du 31 mai 2005 devant le Tribunal administratif du canton de Vaud, devenu la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal) a alors été déclaré sans objet. De cette union, est né en 2007, Z._, de nationalité portugaise et détenant une autorisation de séjour. Le couple s'est séparé au mois d'octobre 2009 et l'enfant vit auprès de sa mère. Les époux envisagent d'engager une procédure de divorce. Depuis octobre 2009, X._ vit à A._ chez sa compagne actuelle, B._, ressortissante portugaise titulaire d'une autorisation de séjour. Le couple a eu un enfant, C._, né en 2011, qui a aussi la nationalité portugaise. X._ est également père de six autres enfants (de mères différentes) répartis entre le Cap-Vert, l'Espagne et le Portugal. Il a suivi sa scolarité obligatoire au Cap Vert. Depuis qu'il vit en Suisse, il a travaillé comme aide-maçon, maçon et chef de chantier au sein de différentes entreprises vaudoises. Il a en outre créé deux sociétés actives dans le secteur de la construction entre 2007 et 2009: D._ Sàrl et E._ Sàrl. Toutes deux ont depuis été radiées du registre du commerce. Depuis le 3 octobre 2011, l'intéressé exerce en qualité de maçon sur la base d'un contrat de durée indéterminée qui le lie à l'entreprise de construction F._. A.b Durant son séjour en Suisse, X._ a fait l'objet de plusieurs condamnations pénales. Deux d'entre elles ont trait à l'utilisation, lors de son arrivée en Suisse, de documents d'identité portugais falsifiés. Il a ainsi été condamné, en date du 4 septembre 2003, par les autorités pénales compétentes, à dix jours d'emprisonnement avec sursis pendant deux ans pour infraction au droit des étrangers et, en date du 11 août 2005, à dix jours d'emprisonnement avec sursis pendant trois ans pour faux dans les certificats. Dans le cadre de ses activités au sein de la société E._ Sàrl, il a en outre été condamné, le 28 janvier 2011, par le Tribunal correctionnel de Lausanne, à une peine privative de liberté de quinze mois et à une peine pécuniaire de soixante jours-amendes ferme pour abus de confiance et infraction à différentes lois sur les assurances sociales. Après avoir purgé sa peine, X._ est retourné vivre avec sa compagne à A._. A.c Par décision du 12 mai 2011, le Service de la population a révoqué l'autorisation de séjour de X._ et a prononcé son renvoi de Suisse. Il a en substance retenu que l'intéressé ne vivait plus avec son épouse depuis le mois d'octobre 2009, que son comportement avait donné lieu à plusieurs condamnations pénales et que les liens familiaux qui l'unissaient à ses enfants n'étaient pas particulièrement forts; il ne payait plus les pensions alimentaires en faveur de Z._ et, même s'il l'appelait régulièrement, il ne lui rendait visite qu'occasionnellement; il n'était, en outre, pas établi qu'il avait des relations étroites avec C._; dans ces conditions, l'intégration de l'intéressé en Suisse ne pouvait être qualifiée de réussie et celui-ci ne pouvait pas invoquer de raisons personnelles majeures afin d'y poursuivre son séjour. B. Le Tribunal cantonal a, par arrêt du 6 mars 2012, rejeté le recours formé par X._ contre la décision du Service de la population. C. X._ forme un recours en matière de droit public contre le jugement cantonal du 6 mars 2012. Il demande au Tribunal fédéral, sous suite de frais et dépens, de lui accorder une autorisation de séjour, ainsi que l'assistance judiciaire. Aucun échange d'écriture n'a été ordonné. Par ordonnance du 13 avril 2012, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours.