Faits: A. Ressortissant équatorien né en 1976, AX._ est arrivé en Suisse le 18 mars 2002 pour y épouser une Suissesse, B._. A la suite du mariage célébré le 3 mai 2002, il a obtenu une autorisation de séjour en Suisse. Les époux X._ ont eu deux enfants: C._, né en 2002, et D._, née en 2005. Le 12 juillet 2007, l'autorisation de séjour de AX._ a été transformée en autorisation d'établissement, à la demande de l'intéressé. Les époux X._ se sont séparés en mai 2008, les enfants vivant depuis lors avec leur mère. B. Par jugement du 2 juillet 2009, le Tribunal correctionnel de l'arrondissement de la Côte (ci-après: le Tribunal correctionnel) a condamné AX._ à quinze mois de privation de liberté, dont six à titre ferme et neuf avec sursis pendant cinq ans, pour voies de fait qualifiées, diffamation, usage abusif d'une installation téléphonique, menaces qualifiées, contrainte sexuelle, tentative de contrainte sexuelle et violations graves des règles de la circulation. Sur recours, la Cour de cassation pénale du Tribunal cantonal vaudois (ci-après: la Cour de cassation pénale) a, par arrêt du 9 novembre 2009, réformé le jugement précité en ce sens qu'elle a condamné l'intéressé à une peine privative de liberté de deux ans et suspendu l'exécution d'une partie de la peine portant sur dix-huit mois avec sursis pendant cinq ans. C. Le 23 mars 2010, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a fixé à AX._ un délai pour se déterminer sur une éventuelle révocation de son autorisation d'établissement, en raison de sa condamnation pénale précitée. Par décision du 16 juin 2010, le Département de l'intérieur du canton de Vaud (ci-après: le Département cantonal) a révoqué l'autorisation d'établissement de AX._ et prononcé son renvoi de Suisse dès qu'il aurait satisfait à la justice vaudoise. Il s'est fondé en particulier sur sa condamnation à une peine privative de liberté de deux ans et sur sa mentalité qualifiée de perverse par les juges pénaux. Le 25 octobre 2010, AX._ a été écroué, sa libération étant prévue le 25 avril 2011. D. Par arrêt du 14 décembre 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours de AX._ contre la décision du Département cantonal du 16 juin 2010 et confirmé ladite décision. Le Tribunal cantonal a repris l'argumentation de l'autorité inférieure en la développant. Il a notamment procédé à une pesée de tous les intérêts en présence. E. Le 14 janvier 2011, AX._ a déposé au Tribunal fédéral un recours en matière de droit public contre l'arrêt du Tribunal cantonal du 14 décembre 2010. Il conclut, sous suite de frais et dépens, à ce que l'arrêt attaqué soit annulé; en outre, il demande, principalement, que cet arrêt soit réformé en ce sens que la décision du Département cantonal du 16 juin 2010 soit annulée et, subsidiairement, que la cause soit renvoyée au Tribunal cantonal pour instruction complémentaire et nouvelle décision. Le Tribunal cantonal, le Département cantonal et le Service cantonal ont renoncé à répondre au recours. L'Office fédéral des migrations propose le rejet du recours. F. Par ordonnance du 1er avril 2011, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif présentée par le recourant.