Faits:
A. X._, né en 1966 au Kosovo, a bénéficié d'un permis de travail de courte durée en 1989 avant de faire l'objet d'une décision d'interdiction d'entrée en Suisse du 14 mai 1990 au 16 mai 1994. En 1991, il a épousé sa compatriote Y._, née en 1971. Trois enfants sont issus de cette union, A._, née en 1994, B._, née en 1996, et C._, né en 1999. Il ressort du dossier que A._ a acquis la nationalité suisse.
X._ a déposé, le 1er décembre 1995, une requête d'asile pour lui et sa famille, requête rejetée par l'Office fédéral des réfugiés le 6 mars 1996. Ledit Office a également rejeté, le 29 juin 2001, la demande de reconsidération déposée par la famille X._. X._ a occupé les locaux de W._ pour s'opposer à son renvoi. Le 31 octobre 2002, la Commission suisse de recours en matière d'asile a admis le recours des intéressés à l'encontre du refus de reconsidération et elle a invité l'Office fédéral des réfugiés à accorder l'admission provisoire à tous les membres de la famille. Tel a été le cas le 19 décembre 2002.
Le 11 janvier 2002, le Juge d'instruction de Lausanne a condamné X._ à 45 jours d'emprisonnement avec sursis pour violation simple et grave des règles de la circulation, le conducteur étant pris de boisson.
Par décision du 23 novembre 2004, l'Office fédéral des réfugiés a mis fin à l'admission provisoire et a approuvé l'octroi de l'autorisation de séjour, par le canton de Vaud, à l'ensemble de la famille, soit les époux X._ et leurs trois enfants. Il ressort du dossier que l'autorisation était fondée sur l'art. 13 let. f de l'ordonnance du 6 octobre 1986 limitant le nombre d'étrangers (OLE; RO 1986 1791).
Par jugement du 4 novembre 2008, le Tribunal correctionnel de La Broye et du Nord vaudois a condamné X._ à une peine privative de liberté de 3 ans, sous déduction de 95 jours de détention préventive, pour lésions corporelles simples et qualifiées, voies de fait qualifiées, menaces qualifiées ainsi que pour actes d'ordre sexuel avec un enfant et contrainte sexuelle. Les éléments suivants ressortent, notamment, du jugement:
Tout d'abord, X._ avait, à réitérées reprises, giflé, battu et menacé de mort son épouse; il avait également giflé et menacé de mort ses enfants. Ensuite, il a commis des actes d'ordre sexuel avec sa fille A._, juridiquement considérée comme un enfant, et des actes constitutifs de contrainte sexuelle. Les faits y relatifs sont résumés comme suit par le jugement pénal:
"Après avoir verrouillé la porte d'entrée et regardé par le judas pour s'assurer que C._ et B._ avaient quitté les lieux, X._ a demandé à sa fille de le rejoindre dans le hall d'entrée. Lorsqu'elle est arrivée vers lui, il l'a immédiatement saisie par le menton, lui a prodigué un baiser lingual et l'a dévêtue complètement. Il a ensuite enlevé son propre pantalon et sous-vêtements, a passé ses bras autour de A._ de manière à la maintenir près de lui, puis a frotté son sexe en érection contre son pubis jusqu'à éjaculation. L'accusé a enfin essuyé son sperme tombé sur le sol avec un chiffon à vaisselle et a menacé sa fille de la tuer au cas où elle parlerait de ce qui venait de se passer. Lors de ces faits, A._ a constamment manifesté sa désapprobation en pleurant et en demandant au père d'arrêter."
Enfin, le 14 décembre 2007, X._ a assommé un tiers avec une barre de fer.
S'agissant de son état psychologique, on peut encore lire:
"Dans son analyse, l'expert a évoqué les propos de l'accusé qui se présente comme une victime. A l'égard de ses enfants, il a l'espoir que ceux-ci comprendront un jour que "on ne fait pas cela à son papa" et qu'ils vont revenir vers lui. C'est ce jour-là qu'il les reverra. L'accusé n'a pas conscience de la souffrance de ses enfants, pas plus que de celle de son épouse". "Appréciant le risque de récidive, l'expert a donné une réponse nuancée en ce sens que les actes de violence étaient susceptibles d'être à nouveau commis si l'accusé se trouvait à nouveau en situation de conflit avec sa femme, mais qu'en revanche le risque de récidive paraissait faible en ce qui concerne les abus sexuels commis à l'encontre de la fille aînée, en raison d'absence de pédophilie et de troubles psychiatriques impliqués".
Au vu de ces circonstances, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois s'est prononcé de la manière suivante sur la culpabilité du recourant:
"Sa culpabilité est extrêmement lourde. Envers sa femme, ses enfants et surtout sa fille aînée, il s'est comporté comme un abominable tyran domestique, violent, menaçant et cruel jour après jour, allant jusqu'à soumettre sa fille de 13 ans à un simulacre de viol, terrorisant les siens, les humiliant et les cognant, pour s'amuser ou se soulager au moindre prétexte. Son seul mobile a consisté à asseoir une domination absolue sur les siens en les soumettant à des sévices. Ce comportement de lâche et de brute a perduré après une première période de détention préventive et l'accusé a encore été violent après que le juge d'instruction l'a formellement averti des conséquences pénales qu'il encourait. De même, les interventions de police n'ont eu aucun effet guérisseur. Après plus de 3 mois de détention préventive cumulée, l'accusé s'est encore permis de frapper très violemment un tiers qui ne lui avait rien fait en l'assommant d'un coup de barre de fer. Il présente une dangerosité manifeste et un risque de récidive élevé. A charge, on prendra encore en considération la durée de certains de ses comportements punissables et le fait qu'il rejette toute faute sur autrui, se moque de la justice et donne l'impression de ne respecter que la force".
B. Par décision du 20 janvier 2010, le Service de la population du canton de Vaud (ci-après: le Service de la population) a révoqué l'autorisation de séjour délivrée à X._. Celle-ci déployait des effets jusqu'au 18 février 2010 - et non jusqu'au 17 juin 2015, date de validité des documents d'identité émis par la République fédérale de Yougoslavie, fait rectifié d'office par le Tribunal fédéral (art. 105 al. 2 LTF) -. La décision relève que l'intéressé a fait l'objet de plusieurs condamnations pénales avec des peines d'emprisonnement de longue durée.
C. X._ a recouru contre cette décision le 23 février 2010 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Son recours a été rejeté par arrêt du 21 octobre 2010.
D. Par recours parvenu au Tribunal fédéral le 19 novembre 2010, X._ a requis l'annulation de l'arrêt cantonal et l'octroi d'une autorisation de séjour, ainsi que l'effet suspensif à son recours. Celui-ci a été octroyé par ordonnance du Président de la IIème Cour de droit public en date du 23 novembre 2010.
Appelés à se prononcer sur le sort à réserver au recours en matière de droit public, le Tribunal cantonal a conclu à son rejet, alors que le Service de la population a renoncé à se déterminer. Les observations de l'Office fédéral des migrations ont été déposées après l'échéance du délai octroyé.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle donc librement la recevabilité des recours qui sont déposés devant lui (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 96).
1.1 Lorsque le recours a pour objet une décision confirmant la révocation d'une autorisation de séjour qui a expiré dans l'intervalle, la personne concernée n'a plus d'intérêt (actuel) à l'annulation ou à la modification de la décision attaquée, de sorte que la condition de recevabilité de l'art. 89 al. 1 LTF n'est plus remplie. Le Tribunal fédéral entre toutefois exceptionnellement en matière lorsque, comme en l'espèce, la décision attaquée se prononce aussi sur le renouvellement de ladite autorisation (arrêt 2C_531/2009 du 22 juin 2010 consid. 2.1).
Dans la mesure où le recourant s'en prend à la révocation de son autorisation de séjour, telle qu'intervenue par décision du 20 janvier 2010, son recours est irrecevable, dès lors que cette autorisation était valable jusqu'au 18 février 2010, selon l'état de fait ci-dessus rectifié. Il n'y aura donc pas à analyser si les conditions de l'art. 62 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) étaient concrètement remplies en l'espèce.
1.2 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
1.2.1 L'ordonnance du 6 octobre 1986 limitant le nombre des étrangers ne donne pas en elle-même un droit à la délivrance d'une autorisation de séjour par l'autorité cantonale (<ref-ruling> consid. 2.2 p. 184). Il en va notamment ainsi de la requête de permis humanitaire fondée sur l'art. 13 let. f de ce texte (arrêt 2D_18/2007 du 23 mai 2007). Il n'y a donc pas place pour un recours en matière de droit public fondé sur le refus d'octroyer une autorisation en application de cette norme sur laquelle était fondée l'autorisation de séjour du recourant. A l'heure actuelle, l'art. 31 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201) énumère de façon non exhaustive les cas individuels d'extrême gravité. Cette disposition a repris la plupart des critères développés par le Tribunal fédéral, puis par le Tribunal administratif fédéral dès 2007, sous l'empire de l'art. 13 let. f OLE, lorsqu'il s'agissait de définir les cas de rigueur permettant d'obtenir une autorisation de séjour exemptée des mesures de limitation (arrêt 2C_216/2009 du 20 août 2009). En tant qu'il se réfère à l'art. 30 al. 1 let. b LEtr, dont il explicite le contenu, l'art. 31 OASA ne fonde pas un droit à l'octroi d'une autorisation. Le recours en matière de droit public n'est donc pas ouvert pour se prévaloir d'une violation de cette norme.
1.2.2 A la différence de ce qui prévaut pour l'art. 43 LEtr qui fonde un droit au regroupement familial pour le conjoint et les enfants étrangers du titulaire d'une autorisation d'établissement, le regroupement familial de l'art. 44 LEtr, qui traite du regroupement familial pour le conjoint et les enfants étrangers du titulaire d'une autorisation de séjour, de par sa formulation potestative, ne confère pas, en tant que tel, un droit à une autorisation de séjour. L'octroi d'une telle autorisation est en effet laissé à l'appréciation de l'autorité (arrêt 2C_508/2009 du 20 mai 2010 consid. 2.1). Il s'ensuit que la voie du recours en matière de droit public n'est pas ouverte sur la base de cette disposition (arrêt 2C_537/2009 du 31 mars 2010 consid. 2.2.2; arrêt 2C_345/2009 du 22 octobre 2009 consid. 2.2.1).
1.2.3 D'après la jurisprudence, les relations familiales qui peuvent fonder, en vertu de l'art. 8 § 1 CEDH, un droit à une autorisation de police des étrangers, sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (<ref-ruling> consid. 1.3.2 p. 146; <ref-ruling> consid. 1d/aa p. 65; <ref-ruling> consid. 1d p. 261). Pour qu'il puisse invoquer la protection de la vie familiale découlant de cette disposition, l'étranger doit entretenir une relation étroite et effective (cf. <ref-ruling> consid. 5 p. 269; <ref-ruling> consid. 5.3.1 p. 211) avec une personne de sa famille ayant le droit de résider durablement en Suisse (<ref-ruling> consid. 1.3.1 p. 145; <ref-ruling> consid. 3.1 p. 285).
Marié à une personne titulaire d'une autorisation de séjour, le recourant ne peut, sous cet angle, tirer un droit de l'art. 8 CEDH. Il en va différemment s'agissant de prendre en compte la relation de famille dont il peut se prévaloir avec sa fille A._, encore mineure et de nationalité suisse. A cet égard, le recourant peut donc invoquer l'art. 8 CEDH.
Le recours en matière de droit public est donc recevable de ce point de vue. Savoir si, concrètement, le recourant peut indirectement déduire un droit à une autorisation de séjour de cette norme est une question qui relève du fond.
1.3 Au surplus, en tant qu'il s'en prend à l'arrêt du Tribunal cantonal du 21 octobre 2010, le recours est dirigé contre une décision finale (art. 90 LTF) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile (art. 100 al. 1 LTF) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF), de sorte qu'il convient d'entrer en matière.
1.4 Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), sous réserve des exigences de motivation figurant aux art. 42 et 106 al. 2 LTF. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Pour le reste, aucun fait nouveau ne peut être invoqué devant le Tribunal fédéral à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
2. Le recourant critique en vain, dans son écriture, la constatation des faits et leur appréciation par le Tribunal cantonal. Formulés sur un mode purement appellatoire, ces éléments ne peuvent être pris en compte par le Tribunal fédéral (art. 97 al. 1 LTF; <ref-ruling> consid. 3 p. 104), de sorte que le présent arrêt sera fondé sur les seuls faits retenus par le Tribunal cantonal.
Il en va de même des faits nouveaux que le recourant tente d'introduire dans le débat, qui ne ressortent pas du jugement entrepris et qui constituent en conséquence des nova irrecevables devant le Tribunal fédéral (art. 99 al. 1 LTF).
3. Le recourant invoque l'art. 8 CEDH.
3.1 L'intéressé, qui a été condamné pour, notamment, des actes d'ordre sexuel commis sur sa fille aînée, prétend entretenir une relation étroite et effective, au sens de la jurisprudence (cf. consid. 1.2.3 et les arrêts cités), avec celle-ci.
Il ressort du dossier que la vie de famille a effectivement été maintenue, dans la mesure du possible, pendant l'incarcération du recourant, par le biais de nombreuses visites. Celui-ci devrait, en outre, réintégrer le domicile familial à sa sortie de prison. De plus, dans une longue lettre du 28 janvier 2010 à l'intention du Tribunal cantonal, la fille aînée de l'intéressé dit clairement lui avoir pardonné pour les actes en cause, qu'elle met sur le compte d'un abus d'alcool, et avoir besoin de lui. Elle le présente comme un élément indispensable à la vie de famille.
Il semble ainsi que la relation entre le père et la fille puisse, malgré les faits commis, être qualifiée d'étroite et effective. La question peut toutefois demeurer ouverte, le recours devant de toute façon être rejeté, comme le démontrent les considérants qui suivent.
3.2 Le droit au respect de la vie privée et familiale garanti par l'art. 8 § 1 CEDH n'est, en effet, pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 § 2 CEDH. Le refus d'octroyer ou de renouveler une autorisation de séjour suppose une pesée des intérêts en présence et l'examen de la proportionnalité de la mesure (<ref-ruling> consid. 4.3 p. 381), étant précisé que le maintien de l'ordre public, la prévention des infractions pénales et la mise en oeuvre d'une politique restrictive en matière de séjour des étrangers constituent des buts légitimes au regard de cette disposition conventionnelle (<ref-ruling> consid. 2.2.1 p. 156). Pour apprécier ce qui est équitable, l'autorité doit notamment tenir compte de la gravité de la faute commise par l'étranger, de la durée de son séjour en Suisse et du préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion, respectivement du refus d'accorder ou de prolonger une autorisation de séjour. Normalement, pour une première demande d'autorisation ou un renouvellement d'autorisation après un séjour de courte durée, en cas de peine d'au moins deux ans de détention, l'intérêt public à l'éloignement l'emporte sur l'intérêt privé - et celui de sa famille - à pouvoir rester en Suisse (<ref-ruling> consid. 4.4 p. 382; <ref-ruling> consid. 4.1 p. 185). Lorsque la limite de deux ans est atteinte, il faut des circonstances exceptionnelles pour que l'expulsion ne soit pas prononcée.
Il n'y a pas atteinte à la vie familiale si l'on peut attendre des membres de la famille qu'ils réalisent leur vie de famille à l'étranger (<ref-ruling> consid. 2.1 p. 154; <ref-ruling> consid. 3b p. 297). En revanche, si le départ du membre de la famille pouvant rester en Suisse ne peut d'emblée être exigé sans autre, il convient de procéder à la pesée des intérêts prévue par l'art. 8 § 2 CEDH (<ref-ruling> consid. 2.1 p. 154; <ref-ruling> consid. 4.1 p. 23).
3.3 Si l'épouse du recourant a semble-t-il vécu au Kosovo jusqu'en 1991, c'est-à-dire jusqu'à l'âge de 20 ans, il en va différemment des enfants, nés en Suisse, pays où ils ont toujours vécu et ont suivi toute leur scolarité. Il en va, en particulier, ainsi de la fille aînée, qui jouit au surplus de la nationalité suisse. La question de savoir si une séparation peut être imposée aux membres de la famille du recourant se pose donc au regard de l'art. 8 CEDH.
En l'espèce, contrairement à ce qu'affirme le recourant, le Tribunal cantonal a procédé à une correcte pesée des intérêts en présence. Il a notamment pris en compte la gravité manifeste des actes commis par le recourant à l'encontre, principalement, des membres de sa propre famille, et également à l'encontre d'un tiers, la durée de son séjour en Suisse, le fait qu'il y travaille, sa relation avec l'alcool, la volonté de tous les membres de la famille de reconstruire une vie commune avec lui et les conséquences économiques, pour la famille, de son renvoi.
L'arrêt du Tribunal cantonal correspond, dès lors, pleinement à la jurisprudence du Tribunal fédéral en la matière. Il peut, ainsi, y être renvoyé (art. 109 al. 3 LTF).
4. Au vu de ce qui précède, le recours en matière de droit public doit être rejeté dans la mesure de sa recevabilité.
Succombant, le recourant doit supporter les frais judiciaires (cf. art. 66 al. 1 LTF). Il n'est pas alloué de dépens (cf. art. 68 al. 1 LTF a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 23 mars 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Kurtoglu-Jolidon