Faits: A. X._, né en 1966 au Kosovo, a bénéficié d'un permis de travail de courte durée en 1989 avant de faire l'objet d'une décision d'interdiction d'entrée en Suisse du 14 mai 1990 au 16 mai 1994. En 1991, il a épousé sa compatriote Y._, née en 1971. Trois enfants sont issus de cette union, A._, née en 1994, B._, née en 1996, et C._, né en 1999. Il ressort du dossier que A._ a acquis la nationalité suisse. X._ a déposé, le 1er décembre 1995, une requête d'asile pour lui et sa famille, requête rejetée par l'Office fédéral des réfugiés le 6 mars 1996. Ledit Office a également rejeté, le 29 juin 2001, la demande de reconsidération déposée par la famille X._. X._ a occupé les locaux de W._ pour s'opposer à son renvoi. Le 31 octobre 2002, la Commission suisse de recours en matière d'asile a admis le recours des intéressés à l'encontre du refus de reconsidération et elle a invité l'Office fédéral des réfugiés à accorder l'admission provisoire à tous les membres de la famille. Tel a été le cas le 19 décembre 2002. Le 11 janvier 2002, le Juge d'instruction de Lausanne a condamné X._ à 45 jours d'emprisonnement avec sursis pour violation simple et grave des règles de la circulation, le conducteur étant pris de boisson. Par décision du 23 novembre 2004, l'Office fédéral des réfugiés a mis fin à l'admission provisoire et a approuvé l'octroi de l'autorisation de séjour, par le canton de Vaud, à l'ensemble de la famille, soit les époux X._ et leurs trois enfants. Il ressort du dossier que l'autorisation était fondée sur l'art. 13 let. f de l'ordonnance du 6 octobre 1986 limitant le nombre d'étrangers (OLE; RO 1986 1791). Par jugement du 4 novembre 2008, le Tribunal correctionnel de La Broye et du Nord vaudois a condamné X._ à une peine privative de liberté de 3 ans, sous déduction de 95 jours de détention préventive, pour lésions corporelles simples et qualifiées, voies de fait qualifiées, menaces qualifiées ainsi que pour actes d'ordre sexuel avec un enfant et contrainte sexuelle. Les éléments suivants ressortent, notamment, du jugement: Tout d'abord, X._ avait, à réitérées reprises, giflé, battu et menacé de mort son épouse; il avait également giflé et menacé de mort ses enfants. Ensuite, il a commis des actes d'ordre sexuel avec sa fille A._, juridiquement considérée comme un enfant, et des actes constitutifs de contrainte sexuelle. Les faits y relatifs sont résumés comme suit par le jugement pénal: "Après avoir verrouillé la porte d'entrée et regardé par le judas pour s'assurer que C._ et B._ avaient quitté les lieux, X._ a demandé à sa fille de le rejoindre dans le hall d'entrée. Lorsqu'elle est arrivée vers lui, il l'a immédiatement saisie par le menton, lui a prodigué un baiser lingual et l'a dévêtue complètement. Il a ensuite enlevé son propre pantalon et sous-vêtements, a passé ses bras autour de A._ de manière à la maintenir près de lui, puis a frotté son sexe en érection contre son pubis jusqu'à éjaculation. L'accusé a enfin essuyé son sperme tombé sur le sol avec un chiffon à vaisselle et a menacé sa fille de la tuer au cas où elle parlerait de ce qui venait de se passer. Lors de ces faits, A._ a constamment manifesté sa désapprobation en pleurant et en demandant au père d'arrêter." Enfin, le 14 décembre 2007, X._ a assommé un tiers avec une barre de fer. S'agissant de son état psychologique, on peut encore lire: "Dans son analyse, l'expert a évoqué les propos de l'accusé qui se présente comme une victime. A l'égard de ses enfants, il a l'espoir que ceux-ci comprendront un jour que "on ne fait pas cela à son papa" et qu'ils vont revenir vers lui. C'est ce jour-là qu'il les reverra. L'accusé n'a pas conscience de la souffrance de ses enfants, pas plus que de celle de son épouse". "Appréciant le risque de récidive, l'expert a donné une réponse nuancée en ce sens que les actes de violence étaient susceptibles d'être à nouveau commis si l'accusé se trouvait à nouveau en situation de conflit avec sa femme, mais qu'en revanche le risque de récidive paraissait faible en ce qui concerne les abus sexuels commis à l'encontre de la fille aînée, en raison d'absence de pédophilie et de troubles psychiatriques impliqués". Au vu de ces circonstances, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois s'est prononcé de la manière suivante sur la culpabilité du recourant: "Sa culpabilité est extrêmement lourde. Envers sa femme, ses enfants et surtout sa fille aînée, il s'est comporté comme un abominable tyran domestique, violent, menaçant et cruel jour après jour, allant jusqu'à soumettre sa fille de 13 ans à un simulacre de viol, terrorisant les siens, les humiliant et les cognant, pour s'amuser ou se soulager au moindre prétexte. Son seul mobile a consisté à asseoir une domination absolue sur les siens en les soumettant à des sévices. Ce comportement de lâche et de brute a perduré après une première période de détention préventive et l'accusé a encore été violent après que le juge d'instruction l'a formellement averti des conséquences pénales qu'il encourait. De même, les interventions de police n'ont eu aucun effet guérisseur. Après plus de 3 mois de détention préventive cumulée, l'accusé s'est encore permis de frapper très violemment un tiers qui ne lui avait rien fait en l'assommant d'un coup de barre de fer. Il présente une dangerosité manifeste et un risque de récidive élevé. A charge, on prendra encore en considération la durée de certains de ses comportements punissables et le fait qu'il rejette toute faute sur autrui, se moque de la justice et donne l'impression de ne respecter que la force". B. Par décision du 20 janvier 2010, le Service de la population du canton de Vaud (ci-après: le Service de la population) a révoqué l'autorisation de séjour délivrée à X._. Celle-ci déployait des effets jusqu'au 18 février 2010 - et non jusqu'au 17 juin 2015, date de validité des documents d'identité émis par la République fédérale de Yougoslavie, fait rectifié d'office par le Tribunal fédéral (art. 105 al. 2 LTF) -. La décision relève que l'intéressé a fait l'objet de plusieurs condamnations pénales avec des peines d'emprisonnement de longue durée. C. X._ a recouru contre cette décision le 23 février 2010 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Son recours a été rejeté par arrêt du 21 octobre 2010. D. Par recours parvenu au Tribunal fédéral le 19 novembre 2010, X._ a requis l'annulation de l'arrêt cantonal et l'octroi d'une autorisation de séjour, ainsi que l'effet suspensif à son recours. Celui-ci a été octroyé par ordonnance du Président de la IIème Cour de droit public en date du 23 novembre 2010. Appelés à se prononcer sur le sort à réserver au recours en matière de droit public, le Tribunal cantonal a conclu à son rejet, alors que le Service de la population a renoncé à se déterminer. Les observations de l'Office fédéral des migrations ont été déposées après l'échéance du délai octroyé.