Faits:
A. X._, ressortissant portugais, né en 1958, a bénéficié d'une autorisation de séjour annuelle depuis 1986, puis d'un permis d'établissement dès 1999.
En 1988, il s'est marié à Y._, titulaire d'un permis C. Deux garçons, nés en Suisse en 1990 et 2000, sont issus de leur union.
Par jugement du Tribunal correctionnel de l'arrondissement de l'Est vaudois du 24 juillet 2001, X._ a été condamné pour actes d'ordre sexuel, actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et inceste à une peine de huit ans de réclusion, sous déduction de 586 jours de détention préventive, ainsi qu'à l'expulsion du territoire suisse pour une durée de dix ans, avec sursis pendant cinq ans. Ce jugement a été confirmé par la Cour de cassation pénale du Tribunal cantonal vaudois, le 6 décembre 2001.
Durant sa détention, les demandes de libération conditionnelle présentées par X._ ont été refusées par la Commission de libération, les 15 avril 2005 et 24 janvier 2006, puis par le Collèges des Juges d'application des peines, le 3 août 2007. Les autorités ont toutes souligné que le risque de récidive était considérable. Sa demande de régime de travail externe a également été refusée, décision confirmée, sur recours, par le Juge d'application des peines, le 18 octobre 2007. X._ a terminé l'exécution de sa peine le 16 décembre 2007.
B. Par décision du 27 septembre 2006, le Chef du Département des institutions et des relations extérieures du canton de Vaud (devenu Département de l'intérieur) a prononcé une mesure d'expulsion administrative à l'encontre de X._ d'une durée indéterminée. Ce dernier n'a pas recouru contre cette décision qui est devenue définitive.
Le 7 décembre 2007, X._ a sollicité la prolongation de son permis d'établissement. Par décision du 28 janvier 2008, le Chef du Département de l'intérieur a traité cette requête comme une demande de réexamen de la décision d'expulsion du 27 septembre 2006; il l'a déclarée irrecevable, faute de faits nouveaux et pertinents invoqués par l'intéressé, et l'a rejetée à titre subsidiaire.
Par arrêt du 29 juillet 2008, la Cour de droit administratif et public du Tribunal cantonal a rejeté le recours formé par X._ contre cette décision, dans la mesure de sa recevabilité. Elle a retenu en bref que les faits nouveaux allégués par le recourant étaient sans rapport avec les faits qui avaient été déterminants lors de la décision initiale du 27 septembre 2006, à savoir la gravité des infractions commises et le risque de récidive.
C. X._ forme auprès du Tribunal fédéral un recours en matière de droit public et conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 29 juillet 2008, la cause étant renvoyée à l'autorité intimée pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal se réfère aux considérants et au dispositif de son arrêt et conclut au rejet du recours. Le Chef du Département de l'intérieur et le Service de la population renoncent à se déterminer.
D. La demande d'effet suspensif présentée par le recourant a été admise, par ordonnance présidentielle du 23 septembre 2008.
Considérant en droit:
1. La loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) est entrée en vigueur le 1er janvier 2008 (RO 2007 p. 5487). En vertu de l'art. 126 al. 1 LEtr, les demandes déposées avant l'entrée en vigueur de la loi sont régies par l'ancien droit. Par conséquent, la présente cause doit être examinée, pour ce qui est du droit interne, sous l'angle de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 p. 113).
2. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En sa qualité de ressortissant portugais, le recourant peut, en principe, prétendre à l'octroi d'une autorisation de séjour en Suisse, en vertu du droit à la libre circulation que lui confère l'Accord du 1er juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 142.112.681; ATF 129 II 249 consid. 4 p. 258 ss, spécialement consid. 4.2 p. 259 et 4.3 p. 260); il a donc qualité pour recourir (ATF 130 II 493 consid. 1.1 p. 496). Marié avec une ressortissante portugaise titulaire d'un permis d'établissement, il dispose également d'un droit à une autorisation de séjour en vertu des art. 17 al. 2 LSEE et 8 § 1 CEDH.
2.1 Au surplus, déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites par la loi (art. 42 LTF), par le destinataire de la décision attaquée, qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF), le recours est en principe recevable en vertu des art. 82 ss LTF.
2.2 Dirigé contre un arrêt refusant d'admettre l'existence de circonstances justifiant un réexamen, le présent recours ne peut pas porter directement sur le renouvellement de l'autorisation de séjour du recourant, ni sur l'expulsion administrative de ce dernier, devenue définitive à la suite de la décision du Chef du Département du 27 septembre 2006. Le recours n'est recevable qu'en tant qu'il critique le refus d'examiner à nouveau la mesure d'expulsion au regard de la situation actuelle (arrêts 2C_363/2008 du 7 juillet 2008, consid. 2 et 2A.506/2003 du 6 janvier 2004, consid. 2, in SJ 2004 I p. 389).
3. Le recourant reproche aux juges cantonaux d'avoir refusé arbitrairement d'entrer en matière sur sa demande de réexamen, en soutenant qu'il n'avait pas présenté d'éléments nouveaux et pertinents pouvant justifier une modification de la décision d'expulsion. En effet, à sa libération, il est retourné vivre avec son épouse et a commencé une activité professionnelle comme aide de cuisine, à partir du 5 février 2008.
3.1 Selon la jurisprudence, une décision est arbitraire au sens de l'art. 9 Cst., lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore qu'elle heurte de manière choquante le sentiment de la justice et de l'équité. De plus, il ne suffit pas que les motifs de l'arrêt soient insoutenables, encore faut-il que ce dernier soit insoutenable dans son résultat (ATF 134 II 124 consid. 4.1 p. 133 et les arrêts cités).
3.2 En l'espèce le Tribunal cantonal a considéré que les arguments présentés par le recourant dans sa requête du 7 décembre 2007 étaient connus du Chef du Département lors de la décision initiale du 27 septembre 2006, soit le fait que l'épouse du recourant avait la volonté de reprendre la vie commune avec lui à sa sortie de prison, l'attitude irréprochable de l'intéressé en détention et ses regrets par rapport à son comportement passé. Les seuls éléments nouveaux allégués par le recourant portaient sur la vie commune avec sa femme depuis sa libération et l'emploi d'aide de cuisine qu'il exerçait depuis février 2008, soit sur des faits sans rapport avec la gravité des infractions commises et le risque de récidive retenu par le Chef du Département. Ils n'étaient donc pas de nature à influencer la procédure, de sorte que le refus d'entrer en matière sur la demande de réexamen était justifié.
Cette argumentation ne saurait être qualifiée d'arbitraire, dans la mesure où le recourant ne prétend pas, devant le Tribunal fédéral, avoir allégué autre chose dans son recours cantonal. Les seuls griefs qu'il présente concernent en effet le fond du litige, soit la violation des art. 5 annexe I ALCP et 8 CEDH, pour laquelle il fait valoir que les actes ayant donné lieu à sa condamnation datent de plus de dix ans, de sorte qu'il n'existe plus un intérêt actuel à son éloignement de Suisse. Or, de telles critiques ne sont pas admissibles s'agissant d'un recours contre un refus de réexamen (cf. supra consid. 2.2). En outre, le recourant ne produit aucune pièce (expertise psychiatrique ou tout autre document) qui permettrait de démontrer que le risque de récidive retenu dans la décision initiale du Chef du Département devrait être réexaminé au vu de son évolution personnelle (cf. sur le risque de récidive, ATF 130 II 493 consid. 3.3 p. 499 ss, 176 consid. 4.3.1 p. 185).
Dans ces conditions, les premiers juges pouvaient sans arbitraire refuser d'entrer en matière sur les griefs de violation des art. 5 annexe I ALCP et 8 CEDH et considérer que le recourant n'indiquait aucun élément nouveau, propre à justifier le réexamen de la décision d'expulsion.
4. Au vu de ce qui précède, le recours ne peut être que rejeté dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 LTF). Il n'a pas droit à des dépens (art. 68 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Département de l'intérieur, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 5 janvier 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Merkli Rochat