Faits:
A. X._, ressortissant portugais né en 1968, a effectué divers séjours en Suisse en tant que travailleur saisonnier en 1989, 1996 et 1997, le délai de départ qui lui a été imparti à cette dernière occasion ayant été reporté en 1998 pour des motifs médicaux. Le 31 décembre 1998, il a épousé au Portugal A._, ressortissante portugaise au bénéfice d'une autorisation d'établissement en Suisse. Arrivé en Suisse en compagnie de son épouse le 10 janvier 1999, il a été mis au bénéfice d'une autorisation de séjour. Par jugement du 12 août 2003, définitif et exécutoire le 26 août 2003, le Tribunal d'arrondissement de la Côte a prononcé le divorce des époux. A la suite d'une demande dans ce sens, X._ a été mis au bénéfice d'une autorisation d'établissement par décision du 21 octobre 2004.
B. Par jugement du 19 décembre 2008, le Tribunal d'arrondissement de Lausanne a condamné l'intéressé à une peine privative de liberté de trente mois pour viol, dit qu'une partie de cette peine, soit vingt mois, était suspendue et fixé le délai d'épreuve du sursis à cinq ans. L'intéressé et son co-accusé devaient en outre payer à la victime, solidairement entre eux, un montant de 20'000 fr. à titre d'indemnité pour tort moral. Il résulte de ce jugement en particulier ce qui suit:
" Avec le Ministère public, il faut admettre que l'article 187 CP, objectivement applicable dès lors que la victime n'avait pas seize ans au moment des faits, ne peut pas être retenu. [...] Au terme de son instruction, le Tribunal a acquis l'intime et absolue conviction que [la victime] a bel et bien été violée par Y._, puis par X._. [...]
X._ a absolument contesté dans un premier temps avoir fait quoi que ce soit à [la victime]. Puis, en toute fin d'enquête, X._ a admis avoir entretenu une relation sexuelle brève avec [la victime]. En particulier, il a admis l'avoir pénétrée. A l'audience, contre toute attente, X._ a nié la pénétration. Il a tout au plus admis avoir caressé furtivement la victime sans aller plus loin lorsqu'elle lui a dit qu'elle n'était pas d'accord d'entretenir une relation sexuelle avec lui. [...]
L'analyse des déclarations de cet accusé, ne peut que susciter la méfiance dans l'esprit des juges. Mais il y a plus. La version de X._ n'est pas compatible avec celle fournie par Y._ en cours d'enquête et celle fournie par le témoin Z._ en cours d'enquête et à l'audience. Ces deux personnes ont clairement vu l'accusé complètement nu sur le corps de [la victime]. [...] On est très loin de la thèse qu'a tenté de soutenir X._ devant ses juges. [...]
IV. La peine
Les deux accusés doivent être condamnés pour viol au sens de l'article 190 al. 1 CP. La culpabilité des deux accusés doit être qualifiée de lourde. [...]
La culpabilité de X._ apparaît encore plus lourde que celle de son comparse. Certes, cet accusé ignorait que [la victime] avait été victime d'un premier viol. Mais il savait qu'elle venait d'entretenir une relation sexuelle avec son comparse. [...] Il ne pouvait lui échapper qu'elle ne souhaitait pas en entretenir une seconde avec un autre. [La victime] le lui a d'ailleurs dit. De son côté cet accusé a remarqué que la jeune fille n'allait pas bien et qu'elle s'était enroulée dans le drap du lit, prostrée. Malgré cela, cet accusé n'a écouté que son plaisir et a imposé l'acte sexuel à sa victime. [...] A l'audience, il a eu le front de soutenir qu'il n'y avait pas eu de relation sexuelle alors même qu'il l'avait admis, certes avec peine durant l'enquête. A aucun moment il n'a pris la peine de s'excuser auprès de sa victime lorsqu'il a appris [...] que [la victime] était âgée de moins de seize ans et qu'il avait ainsi entretenu une relation sexuelle avec une mineure. A décharge, cet accusé jouit de bons renseignements. Il travaille. Il est correctement socialisé. Il s'occupe de son frère et de sa belle-s?ur dans leur vie quotidienne. [...] S'agissant d'un délinquant primaire, le Tribunal veut croire, malgré l'attitude détestable que cet accusé a eue à l'audience, que l'exécution d'une partie de cette peine sera suffisante pour lui faire comprendre les limites de l'interdit."
Ce jugement a été confirmé, sur recours, par arrêt rendu le 13 mai 2009 par la Cour de cassation pénale du Tribunal cantonal.
La peine a été exécutée en semi-détention.
C. Par décision du 11 mars 2011, le Chef du Département de l'intérieur du canton de Vaud a annulé l'autorisation d'établissement de X._, après lui avoir donné le droit de s'exprimer, et lui a imparti un délai au 1er mai 2011 pour quitter la Suisse.
Par mémoire du 13 avril 2011, X._ a formé recours contre la décision du 11 mars 2011 devant la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal) concluant, sous suite de frais et dépens, principalement à sa réforme en ce sens qu'il était autorisé à poursuivre son établissement sur le territoire suisse, et subsidiairement à son annulation et au renvoi de la cause à l'autorité pour nouvelle décision.
D. Par arrêt du 21 juin 2012, le Tribunal cantonal a rejeté le recours. L'intéressé avait été condamné à une peine privative de liberté de trente mois (dont vingt mois avec sursis) pour viol. L'absence de prise de conscience de l'intéressé, la gravité de l'infraction commise et l'importance du bien juridique lésé, son statut de célibataire sans enfant l'emportaient sur l'intérêt privé de l'intéressé de conserver des relations avec l'un de ses frères, l'épouse de celui-ci et leur enfant.
E. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral l'annulation de l'arrêt du 21 juin 2012 et le droit de "poursuivre son établissement sur le territoire suisse", subsidiairement, le renvoi de la cause au Tribunal cantonal pour nouvelle instruction et nouveau jugement dans le sens des considérants. Il demande l'effet suspensif.
Le Service de la population du canton de Vaud ainsi que le Chef de département ont renoncé à se déterminer sur le recours. Le Tribunal cantonal a renoncé à déposer une réponse à cette écriture alors que l'Office fédéral des migrations a conclu au rejet du recours.
X._ a répliqué.
Par ordonnance du 28 août 2012, le Président de la IIe Cour de droit public a prononcé l'effet suspensif au recours.

Considérant en droit:
1. 1.1 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant une autorisation d'établissement parce qu'il existe en principe un droit au maintien de cette autorisation (<ref-ruling> consid. 1.2.1 p. 4), ce qui est le cas en l'espèce.
Le recourant, de nationalité portugaise, peut en outre se prévaloir de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), qui confère, en principe, aux ressortissants des États membres de l'Union européenne et de la Suisse le droit d'entrer sur le territoire d'une autre partie contractante (art. 1 let. a et 3 ALCP) ainsi que le droit de séjourner et d'accéder à la vie économique sous réserve des dispositions de l'art. 10 ALCP et conformément aux dispositions de l'annexe I ALCP (art. 1 let. a et 4 ALCP). Le présent recours est ainsi recevable sous l'angle de l'art. 83 let. c ch. 2 LTF.
1.2 Pour le surplus, le recours est dirigé contre une décision finale (art. 90 LTF) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); il a été formé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation (art. 89 al. 1 LTF). Il est donc en principe recevable en tant que recours en matière de droit public.
2. Invoquant l'art. 97 LTF, le recourant se plaint de l'établissement des faits par l'Instance précédente.
2.1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 et 117 LTF).
Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 2 LTF), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2 p. 252, 384 consid. 4.2.2 p. 391). Lorsque, comme en l'espèce, le recours s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1 p. 9).
2.2 Le recourant reproche à l'Instance précédente d'avoir retenu l'existence d'un risque de récidive en se fondant sur l'absence de prise de conscience. Il soutient qu'il peut avoir pris conscience de la gravité de l'infraction et contester la qualification juridique des faits pour lesquels il a été condamné pénalement. Il se réfère à cet effet à une lettre adressée au Tribunal cantonal le 13 avril 2011 dans laquelle il déclarait regretter le déroulement des faits, "mais surtout la peine qu'il a(vait) involontairement causé à la plaignante". Le grief est téméraire et doit être rejeté. Il est de toute évidence inadmissible de se référer au caractère "involontaire" des souffrances causées à la victime d'un viol, qui constitue par définition un acte brutal, sans faire preuve d'une absence de prise de conscience réelle de la gravité de ses actes et surtout de sa propre responsabilité dans leur accomplissement. Dans de telles circonstances, la cour cantonale pouvait sans arbitraire retenir non seulement l'absence de repentir complet et sincère du recourant, mais également l'absence de prise de conscience de la véritable gravité des faits commis. Il n'est par conséquent pas possible de s'écarter des faits retenus dans l'arrêt attaqué. Du reste, la gravité des faits pour lesquels le recourant a été condamné pénalement fait passer au second plan un éventuel débat relatif à la prise de conscience et au risque de récidive, comme cela sera exposé plus bas.
2.3 Le grief relatif à la connaissance de la langue française ne répond pas aux exigences de motivation accrues de l'art. 106 al. 2 LTF en matière d'interdiction de l'arbitraire. Il est par conséquent irrecevable. Le recourant n'expose en effet pas avoir produit conformément aux règles de la procédure administrative cantonale une pièce datée du 3 novembre 2008 ni avoir dûment allégué les faits qui en ressortiraient, que l'Instance précédente aurait ignorés de manière arbitraire.
3. Invoquant l'art. 29 al. 2 Cst., le recourant se plaint de ce que l'Instance précédente a renoncé à entendre son frère, sa belle-soeur et leur enfant aux fins d'établir la réalité de sa prise de conscience et, partant, l'absence de risque de récidive.
3.1 Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., doit permettre à l'intéressé de s'exprimer sur des éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique (<ref-ruling> consid. 5.1 p. 293; <ref-ruling> consid. 3.1 p. 277). La jurisprudence a également déduit de l'art. 29 al. 2 Cst. le droit pour le justiciable d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes (<ref-ruling> consid. 3.1 p. 370). Le droit d'être entendu ne s'oppose cependant pas à ce que l'autorité mette un terme à l'instruction lorsque les preuves administrées lui permettent de se forger une conviction et que, procédant d'une façon non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient plus l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 5.3 p. 148). L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.3 p. 62 et les arrêts cités).
3.2 Pour le même motif que celui exposé au consid. 2.2, on ne saurait voir de violation du droit d'être entendu garanti par l'art. 29 al. 2 Cst. dans le fait, pour l'Instance précédente, d'avoir renoncé à procéder à l'audition du frère, de l'épouse de celui-ci et de leur enfant pour établir une réelle prise de conscience du recourant. Suffisamment renseignée sur ce point, l'Instance précédente pouvait sans arbitraire renoncer, de manière anticipée, à administrer de nouveaux moyens de preuve sur cette question.
4. 4.1 La loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) ne s'applique aux ressortissants des États membres de l'Union européenne que lorsque l'ALCP n'en dispose pas autrement ou lorsqu'elle prévoit des dispositions plus favorables (art. 2 al. 2 LEtr). Comme l'ALCP ne réglemente pas la révocation de l'autorisation d'établissement UE/AELE, c'est l'art. 63 LEtr qui est applicable (cf. art. 23 al. 2 de l'ordonnance fédérale du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses États membres, ainsi qu'entre les États membres de l'Association européenne de libre-échange [OLCP, RS 142.203]; arrêt 2C_473/2011 du 17 octobre 2011, consid. 2.1).
Aux termes de l'art. 63 al. 1 LEtr, l'autorisation d'établissement peut être révoquée si les conditions visées à l'art. 62 let. a ou b LEtr sont remplies (let. a) ou si l'étranger attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (let. b). Aux termes de l'art. 62 let. b LEtr, l'autorité compétente peut révoquer une autorisation notamment si l'étranger a été condamné à une peine privative de liberté de longue durée. Selon la jurisprudence, constitue une peine privative de longue durée au sens de cette disposition toute peine dépassant un an d'emprisonnement, indépendamment du fait qu'elle soit ou non assortie (en tout ou partie) du sursis (<ref-ruling> consid. 4.2; arrêt PE.2009.0425 du 15 avril 2010 consid. 3a).
4.2 Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse pour y exercer une activité lucrative ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'art. 5 al. 1 annexe I ALCP. L'alinéa 2 de cette disposition se réfère à cet égard aux directives correspondantes de la Communauté européenne, en particulier la directive 64/221/CEE du 25 février 1964 pour la coordination des mesures spéciales aux étrangers en matière de déplacement et de séjour justifiées par des raisons d'ordre public, de sécurité publique et de santé publique. Les limitations au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Le recours par une autorité nationale à la notion d'ordre public suppose, en tous cas, l'existence, en dehors du trouble pour l'ordre social que constitue toute infraction à la loi, d'une menace réelle et suffisamment grave, affectant un intérêt fondamental de la société (<ref-ruling> consid. 4.2 p. 20). Une condamnation pénale antérieure ne peut ainsi être prise en considération que si les circonstances les entourant font apparaître l'existence d'une menace actuelle pour l'ordre public (<ref-ruling> consid. 3.2 p. 499 et les arrêts cités; cf. également <ref-ruling> consid. 4.3 p. 24 qui souligne le "rôle déterminant" du risque de récidive). Selon les circonstances, la jurisprudence admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (<ref-ruling> consid. 3.4.1 p. 183 et l'arrêt cité de la CJCE du 27 octobre 1977, C-30/77 Bouchereau, Rec. 1977 p. 1999, point 29). Dans ce cas, il ne doit pas être établi avec certitude que l'étranger commettra d'autres infractions à l'avenir; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. Compte tenu de la portée que revêt le principe de la libre circulation des personnes, ce risque ne doit, en réalité, pas être admis trop facilement. Il faut bien plutôt l'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée (<ref-ruling> consid. 3.3 p. 499 ss; arrêt 2C_547/2010 du 10 décembre 2010 consid. 3). L'évaluation du risque de récidive sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 4.2 p. 20; ATF 130 Il 493 consid. 3.3 p. 499 ss; arrêt 2C_238/2012 du 30 juillet 2012, consid. 2.3).
4.3 La quasi-totalité du recours porte sur la réalité du risque de récidive. Le recourant tente de faire accréditer la thèse selon laquelle, ayant réellement pris conscience de la gravité des actes commis, tout en bénéficiant au surplus d'une bonne intégration sociale et professionnelle, ce risque serait actuellement nul.
Il ressort d'une part des constatations déterminantes du Tribunal cantonal que la prise de conscience par le recourant de la gravité des faits commis n'est que partielle; la circonstance voulant qu'il s'emploie à verser à la victime le montant auquel il a été condamné à titre de réparation du tort moral ne change rien à ce constat, puisqu'il s'agit d'un aspect de la condamnation judiciaire. D'autre part et surtout, les faits pour lesquels il a été condamné sont d'une gravité telle que le risque de récidive n'a pas à s'imposer avec une acuité particulière pour justifier la mise en oeuvre de la mesure de sauvegarde que constitue la révocation de l'autorisation d'établissement. Il est en effet justifié que les États membres puissent se protéger contre la réalisation de risques relatifs à des biens juridiques aussi importants que la vie, l'intégrité physique ou sexuelle.
C'est donc à juste titre que le Tribunal cantonal a retenu un motif de révocation de l'autorisation d'établissement en application de l'ALCP, des directives communautaires et de la jurisprudence y relative.
5. 5.1 La révocation de l'autorisation doit également être proportionnelle (cf. <ref-ruling> consid. 4.3 et 4.5; arrêt 2C_370/2012 du 29 octobre 2012, consid. 3.1.3). Dans le cadre de cette pesée d'intérêts, il y a notamment lieu de prendre en compte la durée du séjour en Suisse, l'âge d'arrivée dans ce pays, les relations sociales, familiales et professionnelles, le niveau d'intégration et les conséquences d'un renvoi. L'autorisation d'établissement d'un étranger qui réside de longue date en Suisse ne peut être révoquée qu'avec retenue. En cas d'activité pénale grave ou répétée, une telle révocation n'est toutefois pas exclue, même si l'étranger est né en Suisse où il a passé toute son existence (arrêts 2C_370/2012 du 29 octobre 2012, consid. 3.1.3; 2C_839/2011 du 28 février 2012 consid. 2.3; 2C_562/2011 du 21 novembre 2011, consid. 3.3). En cas d'actes pénaux graves et de récidive, respectivement en cas de délinquance persistante, il existe en général un intérêt public important à mettre un terme à la présence de l'étranger en Suisse dans la mesure où ce type de comportement porte atteinte à la sécurité et à l'ordre publics (arrêt 2C_839/2011 du 28 février 2012 consid. 2.3; arrêt 2C_903/2010 du 6 juin 2011 consid. 3.1 in <ref-ruling>; <ref-ruling> consid. 4.4.2 p. 190).
5.2 Le recourant n'allègue pas que des éléments essentiels à la pesée des intérêts auraient véritablement été omis; il tente d'y intégrer des éléments de fait qui ne ressortent pas de l'arrêt attaqué et de minimiser le poids de sa condamnation pénale par rapport à d'autres circonstances, telles que son intégration sociale et professionnelle. Il n'en demeure pas moins que la décision querellée, aux considérants de laquelle il peut être renvoyé (art. 109 al. 3 LTF), est conforme à la pratique du Tribunal fédéral et que l'instance précédente a procédé à une pesée des intérêts en présence qui n'est pas critiquable au regard de l'art. 63 al. 2 en lien avec l'art. 62 let. b LEtr, respectivement de l'art. 5 Annexe I ALCP. Compte tenu de l'ensemble des circonstances, il apparaît ainsi que l'intérêt public à éloigner le recourant l'emporte ici sur son intérêt privé à pouvoir vivre en Suisse.
6. Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Les frais judiciaires sont mis à la charge du recourant (cf. art. 66 al. 1 LTF). Il na pas droit à des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Département de l'Intérieur, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 23 février 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Dubey