Faits:
A. A.a A.X._, ressortissant serbe (Kosovo), né en 1978, a obtenu le 3 septembre 1993 une autorisation de séjour pour regroupement familial.
En 2001 et 2002, l'intéressé a été condamné à des peines d'emprisonnement de 33 mois, respectivement de 15 jours, pour vols, tentatives de vol, violations de domicile, dommages à la propriété, entrave à l'action pénale, vol d'usage, viol et actes d'ordre sexuel avec une mineure.
Par arrêt du 27 octobre 2003, le Tribunal administratif du canton de Fribourg a confirmé la décision du 17 juin 2003 du Service de la population et des migrants du canton de Fribourg refusant le renouvellement de l'autorisation de séjour et prononçant l'expulsion de A.X._. La décision d'expulsion du canton de Fribourg prononcée pour une durée indéterminée a été étendue à tout le territoire de la Confédération par l'office fédéral compétent en date du 31 mars 2004. A.X._ a quitté la Suisse cette année-là.
A.b Le 10 février 2006, l'intéressé a épousé B.X._, une compatriote titulaire d'une autorisation d'établissement, avec laquelle il a eu trois enfants nés respectivement en 1999, 2001 et 2006.
Par arrêt du 14 mai 2007, le Tribunal administratif du canton de Vaud (aujourd'hui et ci-après: le Tribunal cantonal) a confirmé la décision du Service de la population du canton de Vaud (ci-après: le Service de la population) du 31 août 2006 refusant de délivrer une autorisation d'entrée respectivement de séjour pour regroupement familial en faveur de l'intéressé, notamment compte tenu de l'intérêt public à maintenir éloigné un délinquant ayant gravement enfreint l'ordre public.
Le Tribunal cantonal, par arrêt du 17 décembre 2007, a rejeté le recours de A.X._ dirigé contre la décision du Service de la population du 2 août 2007 refusant d'entrer en matière sur une demande de réexamen.
Après avoir été refoulé dans son pays d'origine en 2007, A.X._ est revenu illégalement en Suisse, le 15 avril 2008, et a déposé une nouvelle demande de regroupement familial, considérée comme seconde demande de réexamen par le Service de la population et jugée irrecevable le 29 juillet 2008. Par arrêt du 14 octobre 2008, le Tribunal cantonal a confirmé la décision précitée du 29 juillet 2008. Le Tribunal fédéral a, le 4 mars 2009 (cause 2C_838/2008), déclaré le recours de A.X._ irrecevable.
A.c Le 21 avril 2010, le Service de la population a estimé que la nouvelle demande d'autorisation de séjour du 28 janvier 2010 de A.X._, traitée comme une demande de réexamen, était irrecevable.
B. Par arrêt du 4 août 2011, le Tribunal cantonal a rejeté le recours de l'intéressé, de B.X._ et de leurs enfants. Selon ce Tribunal, la requête du recourant constituait bel et bien une demande de réexamen, et non une nouvelle demande d'autorisation de séjour, laquelle devait être examinée au regard de l'art. 64 de la loi vaudoise du 28 octobre 2008 sur la procédure administrative (LPA-VD; RS-VD 173.36), ainsi que de la jurisprudence déduite de l'art. 29 Cst.; puis il a estimé que les faits invoqués ne constituaient pas des faits nouveaux susceptibles d'ouvrir la voie du réexamen, les arguments tirés de la situation familiale et professionnelle de l'intéressé et de ses proches ayant déjà été, et à de nombreuses reprises, pris en compte par les différentes autorités lors des précédentes procédures.
C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._, ainsi que leurs enfants demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 4 août 2011 et de lui renvoyer la cause afin qu'il délivre une autorisation de séjour à l'intéressé, subsidiairement, de renvoyer la cause au Tribunal cantonal pour que celui-ci la renvoie à son tour au Service de la population afin que celui-ci délivre une autorisation à l'intéressé.
Le Service de la population a renoncé à déposer des observations. Le Tribunal cantonal se réfère à son arrêt du 4 août 2011. L'Office fédéral des migrations conclut au rejet du recours. A.X._ s'est encore prononcé par écriture du 19 décembre 2011.
Par ordonnance du 13 octobre 2011, le Président de la IIe Cour de droit public a refusé la demande d'effet suspensif.
Considérant en droit:
1. 1.1 Selon l'art. 83 let. c ch. 2 LTF, en droit des étrangers, le recours en matière de droit public est irrecevable à l'encontre des décisions qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Comme A.X._ (ci-après: le recourant) invoque l'art. 8 CEDH pour conserver des relations avec son épouse, ressortissante serbe au bénéfice d'une autorisation d'établissement, et ses enfants, la voie du recours en matière de droit public est ouverte.
1.2 Au surplus, le recours remplit les conditions des art. 42 et 82 ss LTF et est donc, en principe, recevable.
1.3 Toutefois, le recours est irrecevable en tant qu'il conclut au renouvellement de l'autorisation de séjour. En effet, l'arrêt attaqué a rejeté la demande de réexamen pour défaut de fait nouveau. Le présent recours ne peut donc porter que sur le bien-fondé de ce refus (cf. consid. 2.1).
1.4 Il convient, en outre, de souligner que le mémoire a un caractère prolixe et confus, de sorte qu'il aurait pu être renvoyé à son auteur en application de l'art. 42 al. 6 LTF. Le Tribunal fédéral y renonce exceptionnellement.
2. 2.1 Lorsque, comme en l'espèce, l'autorité saisie d'une demande de réexamen refuse d'entrer en matière, le recours ne peut porter que sur le bien-fondé de ce refus (ATF 126 II 377 consid. 8d p. 395; 117 V 8 consid. 2a p. 12; 113 Ia 146 consid. 3c p. 153).
2.2 Les autorités administratives sont tenues de réexaminer leurs décisions si une disposition légale expresse ou une pratique administrative constante les y oblige. Tel est le cas de l'art. 64 al. 2 LPA-VD qui prévoit que l'autorité entre en matière sur la demande de réexamen si l'état de fait à la base de la décision s'est modifié dans une mesure notable depuis lors (let. a), ou si le requérant invoque des faits ou des moyens de preuve importants qu'il ne pouvait pas connaître lors de la première décision ou dont il ne pouvait pas ou n'avait pas de raison de se prévaloir à cette époque (let. b).
La jurisprudence a en outre déduit des garanties générales de procédure de l'art. 29 al. 1 et 2 Cst. l'obligation pour l'autorité administrative de se saisir d'une demande de réexamen lorsque les circonstances se sont modifiées de façon notable depuis la décision attaquée ou lorsque le requérant invoque des faits essentiels et des moyens de preuve nouveaux qu'il ne connaissait pas ou a été dans l'impossibilité de faire valoir dans la procédure antérieure. Le réexamen de décisions administratives entrées en force ne doit pas être admis trop facilement. Il ne saurait en particulier servir à remettre sans cesse en cause des décisions exécutoires ou à détourner les délais prévus pour les voies de droit ordinaires (cf. ATF 136 II 177 consid. 2.1 p. 181; 120 Ib 42 consid. 2b p. 47).
3. Dès lors que le recours ne peut porter que sur le bien-fondé du refus d'entrer en matière sur la demande de réexamen, c'est en vain que le recourant discute de l'application de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) et de l'art. 8 CEDH.
4. 4.1 Le recourant se plaint du "refus d'entrer en matière" et mentionne l'art. 64 LPA-VD. Il expose les raisons pour lesquelles cette disposition ne devrait pas s'appliquer dans son cas. Le Tribunal cantonal aurait dû traiter la requête non pas comme demande de réexamen mais comme une nouvelle demande d'autorisation de séjour, laquelle aurait dû être acceptée sur la base de la LEtr et de l'art. 8 CEDH, puisqu'il n'existerait plus d'intérêt public à éloigner l'intéressé de notre pays, le risque de récidive ayant disparu.
4.2 A la lecture de ce grief, on constate que le recourant aimerait que l'on fasse abstraction de la décision du 31 août 2006 refusant le renouvellement de son autorisation de séjour. Or, cette décision existe et est entrée en force. Elle ne peut donc être remise en cause par la même partie sur la base des mêmes faits et des mêmes règles de droit. Seule une voie de droit extraordinaire, tel que le réexamen, permet de modifier une décision administrative dotée de la force de chose jugée. Par contre, si une modification des circonstances est alléguée, la voie de la demande de reconsidération (ou réexamen selon la LPA-VD) doit être utilisée auprès de l'autorité qui a rendu la décision de première instance (THIERRY TANQUEREL, Manuel de droit administratif, 2011, no 1438 p. 482).
En ce qui concerne les décisions négatives, certains auteurs, à l'instar du recourant, considèrent qu'elles ne déploient pas d'effets durables et ne peuvent ainsi pas, à proprement parler, être soumise à un réexamen (PIERRE MOOR/ETIENNE POLTIER, Droit administratif, vol. II: Les actes administratifs et leur contrôle, 3e éd., no 2.4.4.2 let. a p. 400). D'autres sont d'un avis contraire estimant qu'une décision négative fixe une situation juridique tout autant qu'une décision formatrice, étant donné que le droit dont la création a été déniée reste refusé au requérant tant que la décision en cause n'a pas été révoquée et remplacée par une décision favorable (THIERRY TANQUEREL, op. cit., no 1423 et 1424 p. 479). Cette nuance n'a, cependant, pas de portée pratique en la matière. En effet, le résultat est identique que l'on parle de demande de réexamen ou de nouvelle demande d'autorisation: l'autorité administrative, laquelle se base sur l'état de fait actuel, qui traiterait une requête comme une nouvelle demande, n'octroiera pas une autorisation de séjour dans un cas où elle l'a refusée auparavant si la situation n'a pas changé; et si la situation a changé, les conditions posées au réexamen (cf. consid. 2.2) seront en principe remplies. D'ailleurs, dans les cas où la jurisprudence parle de nouvelle demande, soit ceux où l'étranger a quitté la Suisse pendant un laps de temps significatif (ce qui n'est pas le cas du recourant), elle précise que l'autorité compétente saisie décidera de la suite qu'elle entend lui donner au vu des éléments nouveaux qui lui sont soumis (ATF 130 II 493 consid. 5 p. 504). Dès lors, les conditions du réexamen seront réalisées puisqu'il est fait mention d'éléments nouveaux et l'autorité devra, ainsi, entrer en matière.
4.3 Le seul fait nouveau dont le recourant se prévaut est l'écoulement du temps depuis les condamnations pénales prises en considération dans la décision initiale. Certes, les condamnations pénales ne peuvent justifier indéfiniment une restriction du droit au regroupement familial; avec l'écoulement du temps et un comportement correct, les considérations de prévention générale liées à la sécurité et l'ordre publics perdent en importance, étant toutefois rappelé que plus la violation des biens juridiques a été grave, plus l'évaluation du risque de récidive sera rigoureuse (arrêt 2C_36/2009 du 20 octobre 2009 consid. 3.2). Il ressort de ce qui précède que l'écoulement du temps ne peut pas, à lui seul, justifier le réexamen d'une décision. Cet écoulement doit s'accompagner à tout le moins d'un changement de comportement de l'intéressé (arrêt 2C_516/2007 du 4 février 2008 et l'arrêt cité), ce qui commence par le respect des décisions prononcées. Or, en l'espèce, si le recourant a quitté la Suisse en 2004, il est y revenu illégalement une première fois pour être refoulé en 2007; il a récidivé en 2008, puis, vraisemblablement, en 2010 et séjourne, depuis lors, illégalement dans notre pays. Il démontre ainsi qu'il n'a pas respecté la décision d'expulsion confirmée par arrêt du 27 octobre 2003 du Tribunal administratif du canton de Fribourg et étendue à tout le territoire suisse par décision du 31 mars 2004 de l'office fédéral compétent. De plus, l'intéressé a été condamné, par jugement du 28 avril 2009 de l'autorité pénale fribourgeoise compétente, à 600 heures de travail d'intérêt général pour violation de l'obligation d'entretien et infraction à la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113). En conséquence, l'écoulement du temps ne peut être pris en considération puisque le recourant n'a pas respecté les décisions rendues à son égard et a, à nouveau, été condamné pénalement.
De plus, durant ces dernières années, le recourant a déposé de nombreuses demandes, soit celles que le Service de la population a refusé en date du 31 août 2006, 2 août 2007, 29 juillet 2008 et du 21 avril 2010, comme moyen dilatoire afin de ne pas se soumettre aux décisions rendues à son encontre. Or, le réexamen ne saurait servir à remettre sans cesse en cause une décision exécutoire et à la contourner.
4.4 En conclusion, le Tribunal cantonal a estimé à juste titre qu'il y avait lieu de traiter la demande d'autorisation de séjour déposée par le recourant comme une demande de réexamen qui vise à revenir sur la décision de refus du 31 août 2006, entrée en force, et qu'il pouvait rejeter cette demande, faute d'éléments nouveaux. Partant, le grief doit être rejeté.
5. L'intéressé prétend, en outre, que l'expulsion prononcée à son égard sur la base de la LSEE "n'a plus de base légale" car "l'expulsion a disparu avec l'entrée en vigueur de la LEtr".
L'expulsion du recourant est effectivement fondée sur la LSEE. Or, selon la jurisprudence, une demande de réexamen se référant à une situation dont tous les éléments déterminants se sont déroulés sous l'empire de l'ancien droit et qui a fait l'objet d'un jugement définitif ne peut être justifiée uniquement en raison de l'entrée en vigueur du nouveau droit, en l'occurrence la LEtr, entrée en vigueur le 1er janvier 2008 (arrêt 2C_464/2011 du 27 mars 2012 consid. 1.1 et l'arrêt cité). Le grief doit donc être rejeté.
6. Au regard de ce qui précède, le recours est rejeté. La décision de renvoi prononcée à l'encontre du recourant est exécutoire et les autorités cantonales doivent procéder à son exécution, si nécessaire en utilisant des mesures de contrainte, puis, le cas échéant, le refoulement (art. 69 LEtr).
7. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
Succombant, les recourants supporteront les frais judiciaires (art. 66 al. 1 LTF) solidairement entre eux. Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000.- fr., sont mis à la charge des recourants solidairement entre eux.
3. Le présent arrêt est communiqué au mandataire des recourants, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 2 mai 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon