Faits: A. A.a A.X._, ressortissant serbe (Kosovo), né en 1978, a obtenu le 3 septembre 1993 une autorisation de séjour pour regroupement familial. En 2001 et 2002, l'intéressé a été condamné à des peines d'emprisonnement de 33 mois, respectivement de 15 jours, pour vols, tentatives de vol, violations de domicile, dommages à la propriété, entrave à l'action pénale, vol d'usage, viol et actes d'ordre sexuel avec une mineure. Par arrêt du 27 octobre 2003, le Tribunal administratif du canton de Fribourg a confirmé la décision du 17 juin 2003 du Service de la population et des migrants du canton de Fribourg refusant le renouvellement de l'autorisation de séjour et prononçant l'expulsion de A.X._. La décision d'expulsion du canton de Fribourg prononcée pour une durée indéterminée a été étendue à tout le territoire de la Confédération par l'office fédéral compétent en date du 31 mars 2004. A.X._ a quitté la Suisse cette année-là. A.b Le 10 février 2006, l'intéressé a épousé B.X._, une compatriote titulaire d'une autorisation d'établissement, avec laquelle il a eu trois enfants nés respectivement en 1999, 2001 et 2006. Par arrêt du 14 mai 2007, le Tribunal administratif du canton de Vaud (aujourd'hui et ci-après: le Tribunal cantonal) a confirmé la décision du Service de la population du canton de Vaud (ci-après: le Service de la population) du 31 août 2006 refusant de délivrer une autorisation d'entrée respectivement de séjour pour regroupement familial en faveur de l'intéressé, notamment compte tenu de l'intérêt public à maintenir éloigné un délinquant ayant gravement enfreint l'ordre public. Le Tribunal cantonal, par arrêt du 17 décembre 2007, a rejeté le recours de A.X._ dirigé contre la décision du Service de la population du 2 août 2007 refusant d'entrer en matière sur une demande de réexamen. Après avoir été refoulé dans son pays d'origine en 2007, A.X._ est revenu illégalement en Suisse, le 15 avril 2008, et a déposé une nouvelle demande de regroupement familial, considérée comme seconde demande de réexamen par le Service de la population et jugée irrecevable le 29 juillet 2008. Par arrêt du 14 octobre 2008, le Tribunal cantonal a confirmé la décision précitée du 29 juillet 2008. Le Tribunal fédéral a, le 4 mars 2009 (cause 2C_838/2008), déclaré le recours de A.X._ irrecevable. A.c Le 21 avril 2010, le Service de la population a estimé que la nouvelle demande d'autorisation de séjour du 28 janvier 2010 de A.X._, traitée comme une demande de réexamen, était irrecevable. B. Par arrêt du 4 août 2011, le Tribunal cantonal a rejeté le recours de l'intéressé, de B.X._ et de leurs enfants. Selon ce Tribunal, la requête du recourant constituait bel et bien une demande de réexamen, et non une nouvelle demande d'autorisation de séjour, laquelle devait être examinée au regard de l'art. 64 de la loi vaudoise du 28 octobre 2008 sur la procédure administrative (LPA-VD; RS-VD 173.36), ainsi que de la jurisprudence déduite de l'art. 29 Cst.; puis il a estimé que les faits invoqués ne constituaient pas des faits nouveaux susceptibles d'ouvrir la voie du réexamen, les arguments tirés de la situation familiale et professionnelle de l'intéressé et de ses proches ayant déjà été, et à de nombreuses reprises, pris en compte par les différentes autorités lors des précédentes procédures. C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._, ainsi que leurs enfants demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 4 août 2011 et de lui renvoyer la cause afin qu'il délivre une autorisation de séjour à l'intéressé, subsidiairement, de renvoyer la cause au Tribunal cantonal pour que celui-ci la renvoie à son tour au Service de la population afin que celui-ci délivre une autorisation à l'intéressé. Le Service de la population a renoncé à déposer des observations. Le Tribunal cantonal se réfère à son arrêt du 4 août 2011. L'Office fédéral des migrations conclut au rejet du recours. A.X._ s'est encore prononcé par écriture du 19 décembre 2011. Par ordonnance du 13 octobre 2011, le Président de la IIe Cour de droit public a refusé la demande d'effet suspensif.