Faits: A. X._ est né à Lausanne en 1983 d'une mère française et d'un père vietnamien. Il a la nationalité française. Cadet de quatre enfants, il a été élevé par ses parents à Prilly jusqu'en 1994, année durant laquelle sa mère est décédée et son père est retourné dans son pays d'origine. La soeur aînée, âgée alors de dix-neuf ans, s'est occupée de ses trois frères. X._ est titulaire d'une autorisation d'établissement depuis le 3 octobre 2001. Il a été arrêté et incarcéré le 24 mars 2002. Par jugement du 8 septembre 2003, le Tribunal d'arrondissement de Lausanne l'a condamné à onze ans de réclusion pour assassinat, vol et contravention à la loi fédérale sur les stupéfiants. Il ressort du jugement que X._ était un enfant de nature très réservée et qui s'est plus encore renfermé après le décès de sa mère. Il était un ami d'enfance de Y._. Celui-ci, démontrant un caractère de meneur exubérant, exerçait une influence certaine sur X._. Il l'a entraîné dans la consommation de drogues dures. Le 15 décembre 2001, Y._ a demandé à X._ de l'aider à tuer sa tante, sous prétexte qu'elle semait la discorde dans la famille. Après avoir consommé de l'alcool et diverses drogues, ils se sont rendus chez celle-ci et l'ont tuée en lui assénant plus de cinquante coups de couteaux, la plupart des coups ayant été portés par Y._. Le jugement fait état d'une expertise psychiatrique de 2002 de X._ qui relève que le risque de récidive, dans un cas où l'intéressé se trouverait dans les mêmes circonstances que lors des faits ayant conduits à l'assassinat, à savoir la consommation d'alcool et de substances psycho-actives et l'incitation par un pair, serait très notablement atténué pour autant qu'il suive un traitement psychothérapeutique. Un tel traitement a été ordonné. Le 28 octobre 2009, le Collège des juges d'application des peines a refusé la demande de libération conditionnelle de X._, dont le terme de la peine était le 23 mars 2013. Ledit Collège a estimé qu'il venait de passer en régime de travail externe et qu'il y avait lieu de le laisser faire ses preuves dans ce cadre. Il devait, en effet, pouvoir progressivement se confronter à un élargissement de régime et se préparer à son retour à la vie libre, à défaut de quoi il aurait pu se retrouver dans une situation déstabilisante susceptible de favoriser le risque de récidive résiduel qu'il présentait. B. Par décision du 8 janvier 2010, le Chef du Département de l'intérieur du canton de Vaud a révoqué l'autorisation d'établissement de X._ et a prononcé son renvoi de Suisse. Le 15 juin 2010, le Collège des juges d'application des peines a prononcé la mise en liberté conditionnelle de X._ dès le 31 août 2010. Cette décision fixait à deux ans, six mois et vingt-trois jours la durée du délai d'épreuve; elle ordonnait une assistance de probation et astreignait X._ à poursuivre le traitement psychothérapeutique entrepris et à se soumettre à des contrôles réguliers d'abstinence à l'alcool et aux stupéfiants pendant le délai d'épreuve. En septembre 2010, l'intéressé a commencé un apprentissage en diététique. X._ a porté la cause devant le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Lors de l'instruction, les frères et soeur de X._ ont exposé qu'ils avaient pu faire face aux difficultés auxquelles ils avaient été confrontés lors du décès de leur mère et du départ définitif de Suisse de leur père grâce à la solidité de leur lien familial. Ils relèvent qu'ils n'ont en France que leur grands-parents maternels et leur tante avec lesquels ils n'ont que peu de contacts. Finalement, ils soulignent l'évolution positive de leur frère, qu'ils ont toujours soutenu, depuis son incarcération, et l'importance pour eux de vivre proches les uns des autres. Z._, domiciliée à Tolochenaz, a également expliqué au Tribunal cantonal qu'elle vivait en couple avec l'intéressé depuis huit mois et qu'ils emménageraient ensemble dès la mise en liberté conditionnelle de X._. Par arrêt du 26 novembre 2010, le Tribunal cantonal a rejeté le recours de l'intéressé. Il a jugé que la peine privative de liberté de onze ans infligée à X._ justifiait la révocation de son autorisation de séjour au regard du droit interne. Dans le cadre de l'application du droit international, ledit Tribunal, après avoir rappelé la situation professionnelle de X._ et mentionné que celui-ci n'était plus dépendant de l'alcool et de la drogue, a retenu que, même s'il était qualifié de faible, il existait toujours un risque de récidive. En outre, la mesure était proportionnée. Le fait que X._ soit né et ait grandi en Suisse ne suffisait pas à compenser la gravité des faits. Il pourrait s'installer en France et continuer à entretenir des contacts réguliers avec ses frères et soeurs. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 26 novembre 2010 du Tribunal cantonal en ce sens que son autorisation d'établissement n'est pas révoquée. Le Service de la population et le Chef du Département de l'intérieur ont renoncé à se déterminer. Le Tribunal cantonal se réfère à son arrêt. Les observations de l'Office fédéral des migrations étaient tardives. Par ordonnance du 18 janvier 2011, le Président de la IIe Cour de droit public a accepté la demande d'effet suspensif.