Faits:
A. Ressortissant équatorien né en 1976, AX._ est arrivé en Suisse le 18 mars 2002 pour y épouser une Suissesse, B._. A la suite du mariage célébré le 3 mai 2002, il a obtenu une autorisation de séjour en Suisse. Les époux X._ ont eu deux enfants: C._, né en 2002, et D._, née en 2005. Le 12 juillet 2007, l'autorisation de séjour de AX._ a été transformée en autorisation d'établissement, à la demande de l'intéressé. Les époux X._ se sont séparés en mai 2008, les enfants vivant depuis lors avec leur mère.
B. Par jugement du 2 juillet 2009, le Tribunal correctionnel de l'arrondissement de la Côte (ci-après: le Tribunal correctionnel) a condamné AX._ à quinze mois de privation de liberté, dont six à titre ferme et neuf avec sursis pendant cinq ans, pour voies de fait qualifiées, diffamation, usage abusif d'une installation téléphonique, menaces qualifiées, contrainte sexuelle, tentative de contrainte sexuelle et violations graves des règles de la circulation. Sur recours, la Cour de cassation pénale du Tribunal cantonal vaudois (ci-après: la Cour de cassation pénale) a, par arrêt du 9 novembre 2009, réformé le jugement précité en ce sens qu'elle a condamné l'intéressé à une peine privative de liberté de deux ans et suspendu l'exécution d'une partie de la peine portant sur dix-huit mois avec sursis pendant cinq ans.
C. Le 23 mars 2010, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a fixé à AX._ un délai pour se déterminer sur une éventuelle révocation de son autorisation d'établissement, en raison de sa condamnation pénale précitée.
Par décision du 16 juin 2010, le Département de l'intérieur du canton de Vaud (ci-après: le Département cantonal) a révoqué l'autorisation d'établissement de AX._ et prononcé son renvoi de Suisse dès qu'il aurait satisfait à la justice vaudoise. Il s'est fondé en particulier sur sa condamnation à une peine privative de liberté de deux ans et sur sa mentalité qualifiée de perverse par les juges pénaux.
Le 25 octobre 2010, AX._ a été écroué, sa libération étant prévue le 25 avril 2011.
D. Par arrêt du 14 décembre 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours de AX._ contre la décision du Département cantonal du 16 juin 2010 et confirmé ladite décision. Le Tribunal cantonal a repris l'argumentation de l'autorité inférieure en la développant. Il a notamment procédé à une pesée de tous les intérêts en présence.
E. Le 14 janvier 2011, AX._ a déposé au Tribunal fédéral un recours en matière de droit public contre l'arrêt du Tribunal cantonal du 14 décembre 2010. Il conclut, sous suite de frais et dépens, à ce que l'arrêt attaqué soit annulé; en outre, il demande, principalement, que cet arrêt soit réformé en ce sens que la décision du Département cantonal du 16 juin 2010 soit annulée et, subsidiairement, que la cause soit renvoyée au Tribunal cantonal pour instruction complémentaire et nouvelle décision.
Le Tribunal cantonal, le Département cantonal et le Service cantonal ont renoncé à répondre au recours.
L'Office fédéral des migrations propose le rejet du recours.
F. Par ordonnance du 1er avril 2011, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif présentée par le recourant.

Considérant en droit:
1. Le litige porte sur la révocation de l'autorisation d'établissement du recourant prononcée le 16 juin 2010. Le Service cantonal a entamé cette procédure le 23 mars 2010, en donnant à l'intéressé la possibilité de se déterminer sur l'éventuelle révocation de son autorisation d'établissement. Comme ladite procédure a été initiée après l'entrée en vigueur, le 1er janvier 2008, de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), c'est le nouveau droit qui est applicable (art. 126 al. 1 LEtr a contrario; arrêt 2C_14/2010 du 15 juin 2010 consid. 1).
2. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43 et la jurisprudence citée).
2.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Selon la jurisprudence, le recours en matière de droit public est recevable à l'encontre des décisions prononçant la révocation d'une autorisation d'établissement ou en en constatant l'extinction, parce qu'il existe en principe un droit au maintien d'une telle autorisation (<ref-ruling> consid. 1.2.1 p. 4). Par conséquent, le présent recours ne tombe pas sous le coup de l'art. 83 let. c ch. 2 LTF.
2.2 Pour le surplus, en tant qu'il s'en prend à l'arrêt du Tribunal cantonal du 14 décembre 2010, le présent recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile (art. 100 al. 1 et 46 al. 1 let. c LTF) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Dès lors, il est en principe recevable.
En revanche, dans la mesure où le recourant conteste la décision du Département cantonal du 16 juin 2010, dont il demande l'annulation, le présent recours n'est pas recevable en raison de l'effet dévolutif complet du recours déposé auprès du Tribunal cantonal (cf. arrêt 2C_908/2010 du 7 avril 2011 consid. 1.2).
3. Le recourant requiert la production des dossiers du Tribunal cantonal et du Département cantonal (Service cantonal). Ces autorités ont annexé leurs dossiers respectifs à leurs déterminations, conformément à l'<ref-law>, de sorte que la requête du recourant est sans objet.
4. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant conformément au principe d'allégation (<ref-law>). Ainsi, lorsque le grief d'arbitraire est soulevé, il appartient au recourant d'expliquer clairement en quoi consiste l'arbitraire (cf. <ref-ruling> consid. 3.1 p. 265 s.; <ref-ruling> consid. 4.1 p. 133). En outre, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>; cf. aussi <ref-law>).
Le recourant se plaint que l'arrêt attaqué enfreigne l'art. 9 Cst. (protection contre l'arbitraire et protection de la bonne foi), sans développer la moindre motivation à ce sujet. En particulier, il n'explique nullement en quoi cet acte serait arbitraire. Le grief ainsi soulevé n'est donc pas recevable au regard de l'<ref-law>.
5. Le recourant reproche au Tribunal cantonal d'avoir violé les art. 63 et 96 LEtr, 8 CEDH et 3 de la convention du 20 novembre 1989 relative aux droits de l'enfant (RS 0.107; ci-après: CDE) ainsi que le principe de la proportionnalité. Il prétend que les juges cantonaux n'ont pas pris en compte le développement positif de sa personnalité et le fait qu'il ne présente plus de risque de récidive. Il soutient que sa situation personnelle, son degré d'intégration en Suisse, le droit au respect de sa vie privée et l'intérêt supérieur de ses enfants doivent conduire à l'annulation de l'arrêt attaqué.
En tant que le recourant invoque l'art. 3 CDE, il convient de rappeler qu'on ne peut pas déduire de cette disposition une prétention directe à l'obtention d'une autorisation de police des étrangers (<ref-ruling> consid. 5.2 p. 287; <ref-ruling> consid. 2.2.2 in fine p. 157; cf. aussi arrêt 2C_499/2010 du 26 août 2010 consid. 5.3). En outre, le grief soulevé, qui tend en l'espèce à reprocher au Tribunal cantonal de n'avoir pas suffisamment pris en considération les intérêts des enfants C._ et D._, revient à se plaindre d'une mauvaise pesée des intérêts en présence et se confond donc avec les moyens tirés de la violation des art. 63 et 96 LEtr ainsi que 8 CEDH qui seront examinés ci-dessous (cf. consid. 6).
6. 6.1 L'art. 63 al. 1 LEtr énumère exhaustivement les hypothèses dans lesquelles une autorisation d'établissement peut être révoquée. Tel est en particulier le cas si l'étranger a été condamné à une peine privative de liberté de longue durée d'après l'art. 62 let. b LEtr applicable par renvoi de l'art. 63 al. 1 let. a LEtr. Selon la jurisprudence, une peine privative de liberté est considérée comme de longue durée lorsqu'elle dépasse un an d'emprisonnement (<ref-ruling> consid. 4.2 p. 379 ss et 4.5 p. 383), indépendamment du fait qu'elle ait été prononcée avec sursis (complet ou partiel) ou sans sursis (arrêt 2C_915/2010 du 4 mai 2011 consid. 3.1).
Ce motif de révocation est manifestement réalisé en l'occurrence, puisque le recourant a été condamné à une peine privative de liberté de deux ans.
6.2 Les motifs de révocation de l'art. 63 LEtr correspondent en principe aux motifs d'expulsion prévus à l'art. 10 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113), abrogée le 1er janvier 2008 par l'entrée en vigueur de la LEtr (arrêt 2C_651/2009 du 1er mars 2010 consid. 4.2). Ainsi, comme sous l'empire de l'ancien droit, la révocation de l'autorisation ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée aux circonstances (<ref-ruling> consid. 4.3 p. 381). Il convient donc de prendre en considération, dans la pesée des intérêts publics et privés en présence, la gravité de la faute commise par l'étranger, son degré d'intégration respectivement la durée de son séjour en Suisse ainsi que le préjudice que l'intéressé et sa famille auraient à subir en raison de la mesure (cf. art. 96 al. 1 LEtr; <ref-ruling> consid. 4.3 p. 381; arrêt 2C_651/2009 du 1er mars 2010 consid. 4.2). Quand le refus d'octroyer une autorisation de police des étrangers, respectivement sa révocation, se fonde sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère à utiliser pour évaluer la gravité de la faute et pour procéder à la pesée des intérêts en présence (cf. arrêts 2C_651/2009 du 1er mars 2010 consid. 4.2 et 2C_418/2009 du 30 novembre 2009 consid. 4.1). Cette pesée des intérêts se confond largement avec celle qui doit être effectuée lors de la mise en oeuvre de l'art. 8 CEDH, de sorte qu'il y sera procédé à cette occasion (cf. consid. 6.4 et 6.5, ci-dessous), le recourant soulevant également la violation de cette disposition.
6.3 Un étranger peut, selon les circonstances, se prévaloir de l'art. 8 par. 1 CEDH pour s'opposer à l'éventuelle séparation de sa famille. Pour qu'il puisse invoquer la protection de la vie familiale découlant de cette disposition, l'étranger doit entretenir une relation étroite et effective (<ref-ruling> consid. 5 p. 269; arrêt 2C_723/2009 du 31 mars 2010 consid. 4.1) avec une personne de sa famille ayant le droit de résider durablement en Suisse (sur cette notion, cf. <ref-ruling> consid. 1.3.1 p. 145 s.; <ref-ruling> consid. 3.1 p. 286). Les juges cantonaux ont estimé que la relation entretenue par le recourant avec les deux enfants nés de son union avec son épouse suisse satisfaisait à cette exigence. Cependant, le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale, ou à la protection des droits et libertés d'autrui. L'application de l'art. 8 par. 2 CEDH suppose aussi une pesée des intérêts en présence et l'examen de la proportionnalité de la mesure (cf. consid. 6.4 et 6.5, ci-dessous; <ref-ruling> consid. 4.3 p. 381).
6.4 Normalement, en cas de peine de deux ans ou plus de détention, l'intérêt public à l'éloignement de l'étranger l'emporte sur l'intérêt privé de ce dernier - et celui de sa famille - à pouvoir rester en Suisse (cf. <ref-ruling> consid. 4.4 p. 382; arrêt 2C_651/2009 du 1er mars 2010 consid. 4.3). En outre, le Tribunal fédéral se montre spécialement rigoureux dans les cas de délits sexuels et d'actes de violence (<ref-ruling> consid. 2c p. 436; cf. aussi arrêt 2C_722/2010 du 3 mai 2011 consid. 3.2). Or, le recourant a été condamné notamment pour voies de fait qualifiées, contrainte sexuelle et tentative de contrainte sexuelle, soit pour des délits entrant dans ces catégories. De plus, il ressort du jugement rendu le 2 juillet 2009 par le Tribunal correctionnel que l'intéressé a adopté un comportement particulièrement violent, dangereux et dégradant à l'égard de sa femme. Ledit tribunal a d'ailleurs retenu le caractère indécent, humiliant et méprisant des actes que le recourant a fait subir à son épouse; il a aussi relevé l'incapacité de l'intéressé à reconnaître les faits, son manque absolu de scrupules et d'empathie envers la victime ainsi qu'un penchant confinant au sadisme (arrêt attaqué, let. B p. 2). En outre, dans son arrêt du 9 novembre 2009, la Cour de cassation pénale a relevé, s'agissant du sursis, que l'ensemble des faits incriminés et l'attitude de leur auteur suscitaient des doutes très importants au sujet de son comportement futur; elle a estimé les chances d'amendement faibles et émis, par conséquent, un pronostic défavorable (arrêt entrepris, let. B p. 2). L'arrêt attaqué (consid. 3b p. 8) met du reste en évidence la faible prise de conscience par le recourant des conséquences de ses actes. Actuellement, l'intéressé fait valoir son évolution positive depuis sa condamnation pénale, prétendant qu'il ne présente aucun risque de récidive ni menace pour l'ordre et la sécurité publics. On ne saurait le suivre. Pour étayer son argumentation, le recourant se réfère à des lettres de sa femme et de son employeur, mais il n'exprime à aucun moment avoir réalisé la gravité de ses actes et regretter son comportement envers son épouse. En outre, il oublie que, pour éviter toute récidive, il a fallu lui imposer différentes mesures telles que l'interdiction d'approcher ou d'importuner sa femme (mesures protectrices du 1er juillet 2008, cf. arrêt attaqué, let. B p. 2) ainsi que l'exercice du droit de visite au Point Rencontre (cf. arrêt entrepris, let. D p. 3). A cela s'ajoute que l'intéressé a purgé sa peine à partir du 25 octobre 2010, ce qui l'a mis à l'abri de certaines tentations.
Le recourant est arrivé en Suisse en 2002, de sorte que son séjour dans ce pays n'est pas assez long, et de loin, pour contrebalancer une condamnation pénale à deux ans de privation de liberté, comme l'ont retenu les juges cantonaux. Quant à son intégration, elle n'a rien d'exceptionnel. Certes, l'intéressé ne fait pas l'objet de poursuites; il a exercé une activité lucrative et a suivi différents cours de formation. Mais, il ne peut pas se prévaloir de qualifications professionnelles extraordinaires dont il ne pourrait pas faire usage dans sa patrie. En outre, il n'a nullement démontré s'être intégré dans la société suisse.
Le Tribunal cantonal a admis la réalité de la relation du recourant avec ses enfants C._ et D._, tout en soulignant qu'il vivaient séparés depuis mai 2008. Il a rappelé l'épreuve que l'intéressé leur avait infligée par son comportement à l'égard de leur mère et relevé que leurs rencontres avaient lieu sous surveillance. Dans le présent recours, l'intéressé n'exprime aucun sentiment à l'égard de ses enfants. Il fait valoir qu'il paie régulièrement leur pension alimentaire et se retranche pour le surplus derrière des lettres de sa femme ou de la thérapeute de son fils ainsi que des dessins que lui ont envoyés ses enfants. Certes, le recourant verra plus difficilement C._ et D._ s'il retourne dans sa patrie. Toutefois, il pourra poursuivre la relation qu'il a tissée avec eux par des contacts téléphoniques, des lettres, des courriels, etc.
Enfin, les juges cantonaux ont rappelé que le recourant était arrivé en Suisse à l'âge adulte (passé vingt-cinq ans); il avait grandi dans sa patrie où il avait vécu de nombreuses années, de sorte qu'il était imprégné de la culture et du mode de vie de ce pays. Le Tribunal cantonal a donc considéré que l'intéressé n'aurait pas de problème de réintégration dans son pays d'origine.
6.5 Au regard de l'ensemble des éléments rappelés ci-dessus, c'est à juste titre que le Tribunal cantonal a confirmé la révocation de l'autorisation d'établissement du recourant. Il a notamment effectué une pesée des intérêts en présence qui n'est pas critiquable. En rendant l'arrêt attaqué, il a donc respecté le droit, en particulier les art. 63 et 96 LEtr ainsi que 8 CEDH, de même que le principe de la proportionnalité.
7. Au vu de ce qui précède, il y a lieu de rejeter le recours dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué à la représentante du recourant, au Département de l'Intérieur, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 6 juin 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Dupraz