Faits: A. X._, ressortissant portugais né en 1968, a effectué divers séjours en Suisse en tant que travailleur saisonnier en 1989, 1996 et 1997, le délai de départ qui lui a été imparti à cette dernière occasion ayant été reporté en 1998 pour des motifs médicaux. Le 31 décembre 1998, il a épousé au Portugal A._, ressortissante portugaise au bénéfice d'une autorisation d'établissement en Suisse. Arrivé en Suisse en compagnie de son épouse le 10 janvier 1999, il a été mis au bénéfice d'une autorisation de séjour. Par jugement du 12 août 2003, définitif et exécutoire le 26 août 2003, le Tribunal d'arrondissement de la Côte a prononcé le divorce des époux. A la suite d'une demande dans ce sens, X._ a été mis au bénéfice d'une autorisation d'établissement par décision du 21 octobre 2004. B. Par jugement du 19 décembre 2008, le Tribunal d'arrondissement de Lausanne a condamné l'intéressé à une peine privative de liberté de trente mois pour viol, dit qu'une partie de cette peine, soit vingt mois, était suspendue et fixé le délai d'épreuve du sursis à cinq ans. L'intéressé et son co-accusé devaient en outre payer à la victime, solidairement entre eux, un montant de 20'000 fr. à titre d'indemnité pour tort moral. Il résulte de ce jugement en particulier ce qui suit: " Avec le Ministère public, il faut admettre que l'article 187 CP, objectivement applicable dès lors que la victime n'avait pas seize ans au moment des faits, ne peut pas être retenu. [...] Au terme de son instruction, le Tribunal a acquis l'intime et absolue conviction que [la victime] a bel et bien été violée par Y._, puis par X._. [...] X._ a absolument contesté dans un premier temps avoir fait quoi que ce soit à [la victime]. Puis, en toute fin d'enquête, X._ a admis avoir entretenu une relation sexuelle brève avec [la victime]. En particulier, il a admis l'avoir pénétrée. A l'audience, contre toute attente, X._ a nié la pénétration. Il a tout au plus admis avoir caressé furtivement la victime sans aller plus loin lorsqu'elle lui a dit qu'elle n'était pas d'accord d'entretenir une relation sexuelle avec lui. [...] L'analyse des déclarations de cet accusé, ne peut que susciter la méfiance dans l'esprit des juges. Mais il y a plus. La version de X._ n'est pas compatible avec celle fournie par Y._ en cours d'enquête et celle fournie par le témoin Z._ en cours d'enquête et à l'audience. Ces deux personnes ont clairement vu l'accusé complètement nu sur le corps de [la victime]. [...] On est très loin de la thèse qu'a tenté de soutenir X._ devant ses juges. [...] IV. La peine Les deux accusés doivent être condamnés pour viol au sens de l'article 190 al. 1 CP. La culpabilité des deux accusés doit être qualifiée de lourde. [...] La culpabilité de X._ apparaît encore plus lourde que celle de son comparse. Certes, cet accusé ignorait que [la victime] avait été victime d'un premier viol. Mais il savait qu'elle venait d'entretenir une relation sexuelle avec son comparse. [...] Il ne pouvait lui échapper qu'elle ne souhaitait pas en entretenir une seconde avec un autre. [La victime] le lui a d'ailleurs dit. De son côté cet accusé a remarqué que la jeune fille n'allait pas bien et qu'elle s'était enroulée dans le drap du lit, prostrée. Malgré cela, cet accusé n'a écouté que son plaisir et a imposé l'acte sexuel à sa victime. [...] A l'audience, il a eu le front de soutenir qu'il n'y avait pas eu de relation sexuelle alors même qu'il l'avait admis, certes avec peine durant l'enquête. A aucun moment il n'a pris la peine de s'excuser auprès de sa victime lorsqu'il a appris [...] que [la victime] était âgée de moins de seize ans et qu'il avait ainsi entretenu une relation sexuelle avec une mineure. A décharge, cet accusé jouit de bons renseignements. Il travaille. Il est correctement socialisé. Il s'occupe de son frère et de sa belle-s?ur dans leur vie quotidienne. [...] S'agissant d'un délinquant primaire, le Tribunal veut croire, malgré l'attitude détestable que cet accusé a eue à l'audience, que l'exécution d'une partie de cette peine sera suffisante pour lui faire comprendre les limites de l'interdit." Ce jugement a été confirmé, sur recours, par arrêt rendu le 13 mai 2009 par la Cour de cassation pénale du Tribunal cantonal. La peine a été exécutée en semi-détention. C. Par décision du 11 mars 2011, le Chef du Département de l'intérieur du canton de Vaud a annulé l'autorisation d'établissement de X._, après lui avoir donné le droit de s'exprimer, et lui a imparti un délai au 1er mai 2011 pour quitter la Suisse. Par mémoire du 13 avril 2011, X._ a formé recours contre la décision du 11 mars 2011 devant la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal) concluant, sous suite de frais et dépens, principalement à sa réforme en ce sens qu'il était autorisé à poursuivre son établissement sur le territoire suisse, et subsidiairement à son annulation et au renvoi de la cause à l'autorité pour nouvelle décision. D. Par arrêt du 21 juin 2012, le Tribunal cantonal a rejeté le recours. L'intéressé avait été condamné à une peine privative de liberté de trente mois (dont vingt mois avec sursis) pour viol. L'absence de prise de conscience de l'intéressé, la gravité de l'infraction commise et l'importance du bien juridique lésé, son statut de célibataire sans enfant l'emportaient sur l'intérêt privé de l'intéressé de conserver des relations avec l'un de ses frères, l'épouse de celui-ci et leur enfant. E. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral l'annulation de l'arrêt du 21 juin 2012 et le droit de "poursuivre son établissement sur le territoire suisse", subsidiairement, le renvoi de la cause au Tribunal cantonal pour nouvelle instruction et nouveau jugement dans le sens des considérants. Il demande l'effet suspensif. Le Service de la population du canton de Vaud ainsi que le Chef de département ont renoncé à se déterminer sur le recours. Le Tribunal cantonal a renoncé à déposer une réponse à cette écriture alors que l'Office fédéral des migrations a conclu au rejet du recours. X._ a répliqué. Par ordonnance du 28 août 2012, le Président de la IIe Cour de droit public a prononcé l'effet suspensif au recours.