Faits:
A. X._, ressortissant portugais né en 1974, est arrivé en Suisse en 1994. Il a obtenu une autorisation de séjour, puis d'établissement.
Par jugement du Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois du 19 mai 2004, X._ a été reconnu coupable d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de pornographie. Il a été condamné à quatre ans de réclusion ainsi qu'à l'expulsion du territoire suisse pendant huit ans. Par arrêt du 17 novembre 2004, le Tribunal cantonal vaudois a rejeté le recours interjeté contre ce jugement. Le 2 mai 2005, le Tribunal fédéral a rejeté le recours de droit public et le pourvoi en nullité formés contre cet arrêt. Le prénommé a commencé à purger sa peine privative de liberté le 18 mai 2004, le terme étant fixé au 25 avril 2008.
Le 4 mai 2005, l'Office fédéral des migrations a prononcé à l'encontre de X._ une interdiction d'entrer en Suisse.
X._ a formulé une demande de libération conditionnelle, qui a été rejetée par prononcé de la commission de libération conditionnelle du 6 décembre 2006. Le prénommé a déféré cette décision au Tribunal cantonal, qui l'a débouté par arrêt du 16 février 2007.
X._ a déposé une demande en révision du jugement du 19 mai 2004, laquelle a été rejetée par arrêt du Tribunal cantonal du 30 mars 2007.
Par décision du 31 août 2007, le Département de l'intérieur du canton de Vaud (ci-après: le Département) a ordonné l'expulsion administrative de X._ et révoqué son autorisation d'établissement, avec effet à compter de sa libération, pour une durée indéterminée. L'expulsion était fondée sur l'art. 10 al. 1 lettre a de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; en vigueur jusqu'au 31 décembre 2007) ainsi que l'art. 5 de l'annexe I de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681; ci-après: l'Accord sur la libre circulation).
Le 4 janvier 2008, une nouvelle demande de libération conditionnelle a été rejetée par le juge d'application des peines.
B. X._ a déféré la décision du 31 août 2007 au Tribunal cantonal vaudois, qui a rejeté le recours par arrêt du 26 mars 2008. La Cour cantonale a considéré qu'il existait un "risque concret que [le recourant] veuille se venger de ses victimes ou récidive, faute pour lui d'avoir coopéré au traitement psychiatrique ordonné par l'autorité de jugement". Par conséquent, le maintien de la présence en Suisse du recourant comportait une menace pour l'ordre et la sécurité publics justifiant son expulsion. Sous l'angle de l'art. 8 de la Convention de sauvegarde des droits de l'homme et des libertés fondamentales du 4 novembre 1950 (CEDH; RS 0.101), le Tribunal cantonal a relevé que le recourant s'était marié en 2002 avec une compatriote titulaire d'une autorisation d'établissement. Selon la jurisprudence applicable au conjoint étranger d'un ressortissant suisse, une condamnation à deux ans de privation de liberté constituait la limite à partir de laquelle, en général, il y a lieu de refuser l'autorisation de séjour. Cette règle valait même lorsqu'on ne peut pas - ou difficilement - exiger du conjoint qu'il quitte la Suisse, car, lorsque l'étranger a gravement violé l'ordre juridique suisse et a ainsi été condamné à une peine privative de liberté de plus de deux ans, l'intérêt public à son éloignement l'emporte généralement sur son intérêt privé - et celui de sa famille - à pouvoir demeurer en Suisse. Dans le cas particulier, le mariage du recourant était postérieur au 31 octobre 2002, alors que la plainte pénale à l'origine de sa condamnation avait été déposée le 24 juillet 2002, de sorte que son épouse ne pouvait ignorer sa situation et devait prendre en compte le risque qu'il doive quitter la Suisse.
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, principalement, de réformer dans le sens des considérants l'arrêt du Tribunal cantonal du 26 mars 2008 et, subsidiairement, de l'annuler et de renvoyer la cause à l'autorité intimée pour qu'elle complète l'instruction et rende un nouveau jugement dans le sens des considérants, le tout sous sui-
te de dépens. A titre préalable, il requiert que son recours soit doté de l'effet suspensif et demande à bénéficier de l'assistance judiciaire.
L'autorité intimée, le Département et le Service de la population du canton de Vaud renoncent à se déterminer sur le recours. L'Office fédéral des migrations propose de le rejeter.
Par ordonnance du Président de la IIe Cour de droit public du Tribunal de céans du 24 avril 2008, la requête d'effet suspensif a été admise.

Considérant en droit:
1. La loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) est entrée en vigueur le 1er janvier 2008 (RO 2007 5487). En vertu de l'art. 126 al. 1 LEtr, les demandes déposées avant l'entrée en vigueur de la loi sont régies par l'ancien droit.
En l'espèce, la décision d'expulsion a été rendue le 31 août 2007, soit avant l'entrée en vigueur de la loi précitée. La présente affaire doit donc être examinée à la lumière de l'ancienne loi fédérale sur le séjour et l'établissement des étrangers, l'art. 126 al. 1 LEtr étant applicable par analogie (cf. arrêt 2C_32/2008 du 25 avril 2008, consid. 1.2).
2. Une décision d'expulsion prononcée en application des art. 10 al. 1 LSEE et 5 de l'annexe I ALCP peut faire l'objet d'un recours en matière de droit public (art. 83 lettre c de la loi du 17 juin 2005 sur le Tribunal fédéral [LTF; RS 173.110] a contrario; arrêt 2C_536/2007 du 25 février 2008, consid. 1.2 non publié aux <ref-ruling>; arrêt 2C_488/2007 du 6 février 2008, consid. 1.1). Elle échappe en particulier à la clause d'irrecevabilité de l'art. 83 lettre c chiffre 4 LTF, du fait qu'elle ne repose pas sur l'art. 121 al. 2 Cst. Au surplus, formé en temps utile par le destinataire d'une décision prise en dernière instance cantonale (<ref-law>), le présent recours est recevable comme recours en matière de droit public en vertu des <ref-law>.
3. 3.1 Aux termes de l'art. 1 lettre a LSEE, la loi fédérale sur le séjour et l'établissement des étrangers n'est applicable aux ressortissants des États membres de la Communauté européenne que si l'Accord sur la libre circulation n'en dispose pas autrement ou si ladite loi prévoit des dispositions plus favorables.
En sa qualité de ressortissant portugais, le recourant dispose, en principe, du droit de résider en Suisse en vertu de l'Accord sur la libre circulation. L'expulsion litigieuse doit dès lors également être examinée sous l'angle de l'art. 5 al. 1 de l'annexe I ALCP.
3.2 D'après l'art. 10 al. 1 LSEE, l'étranger peut être expulsé de Suisse ou d'un canton notamment s'il a été condamné par une autorité judiciaire pour crime ou délit (lettre a) ou si sa conduite dans son ensemble et ses actes permettent de conclure qu'il ne veut pas s'adapter à l'ordre établi dans le pays qui lui offre l'hospitalité ou qu'il n'en est pas capable (lettre b). L'expulsion suppose toutefois une pesée des intérêts en présence ainsi que l'examen de la proportionnalité de la mesure (cf. art. 11 al. 3 LSEE; <ref-ruling> consid. 3.3.4 p. 182; <ref-ruling> consid. 4a p. 12 s.). Pour apprécier ce qui est équitable, l'autorité tiendra notamment compte de la gravité de la faute commise par l'étranger, de la durée de son séjour en Suisse et du préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion (cf. art. 16 al. 3 du règlement d'exécution de la loi sur le séjour et l'établissement des étrangers, du 1er mars 1949 [RSEE; en vigueur jusqu'au 31 décembre 2007; RO 1949 p. 243]). Bien qu'il ne puisse pas revoir la décision du point de vue de l'opportunité, le Tribunal fédéral contrôle néanmoins librement, sous l'angle de la violation du droit fédéral, si les autorités cantonales ont correctement mis en oeuvre les critères prévus par les dispositions du droit fédéral susmentionnées et en particulier si, à la lumière desdits critères, l'expulsion s'avère ou non proportionnée. Le Tribunal fédéral s'abstient cependant de substituer sa propre appréciation à celle des autorités cantonales (<ref-ruling> consid. 2a p. 523; 105 consid. 2a p. 107; <ref-ruling> consid. 2a p. 435).
La réglementation prévue par l'art. 8 CEDH est similaire: le droit au respect de la vie familiale (par. 1) n'est en effet pas absolu, en ce sens qu'une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant que celle-ci soit "prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale, ou à la protection des droits et libertés d'autrui". Il y a donc également lieu ici de procéder à une pesée des intérêts en présence (cf. <ref-ruling>0 consid. 4.1 et les références).
Lorsque le motif de l'expulsion est la commission d'un délit ou d'un crime, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à peser les intérêts. La durée de présence en Suisse de l'étranger constitue un autre critère important; plus la durée de ce séjour aura été longue, plus les conditions pour prononcer l'expulsion administrative doivent être appréciées restrictivement. On tiendra par ailleurs particulièrement compte, pour apprécier la proportionnalité de la mesure, de l'intensité des liens de l'étranger avec la Suisse et des difficultés de réintégration dans son pays d'origine (cf. <ref-ruling> consid. 4.4.2 p. 190; <ref-ruling> consid. 2b p. 523 s.; <ref-ruling> consid. 2c p. 436). Il y a lieu également d'examiner si l'on peut exiger des membres de la famille qui ont un droit de présence en Suisse qu'ils suivent l'étranger dont l'expulsion est en cause. Pour trancher cette question, l'autorité compétente ne doit pas statuer en fonction des convenances personnelles des intéressés, mais prendre objectivement en considération leur situation personnelle et l'ensemble des circonstances. Si l'on ne peut pas exiger des membres de la famille pouvant rester en Suisse qu'ils partent à l'étranger, cet élément doit entrer dans la pesée des intérêts en présence, mais n'exclut pas nécessairement, en lui-même, un refus de l'autorisation de séjour ou une expulsion (cf. <ref-ruling>0 consid. 4.2 p. 23 et les références). Selon la jurisprudence relative à l'autorisation de séjour du conjoint étranger d'un ressortissant suisse (ou d'une personne titulaire d'une autorisation d'établissement), une condamnation à deux ans de privation de liberté constitue la limite à partir de laquelle, en général, il y a lieu de refuser une telle autorisation, du moins quand il s'agit d'une demande d'autorisation initiale ou d'une requête de prolongation déposée après un séjour de courte durée (<ref-ruling>0 consid. 4.3 p. 23; <ref-ruling> consid. 4.1 p. 185; <ref-ruling> consid. 4b p. 14).
3.3 En vertu de l'art. 5 al. 1 de l'annexe I ALCP, le droit de séjour octroyé par une disposition de l'Accord ne peut être limité que par des mesures justifiées par des raisons d'ordre public, de sécurité publique et de santé publique. Conformément à la jurisprudence de la Cour de justice, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'ordre public pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (cf. <ref-ruling> consid. 3.4.1 p. 182; <ref-ruling> consid. 7.3 p. 222 et les arrêts cités de la CJCE du 27 octobre 1977, Bouchereau, 30/77, Rec. 1977, p. 1999, points 33-35; du 19 janvier 1999, Calfa, C-348/96, Rec. 1999, p. I-11, points 23 et 25). La seule existence de condamnations pénales (antérieures) ne peut automatiquement motiver de telles mesures. Selon les circonstances, la Cour de justice admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (<ref-ruling> consid. 3.4.1 p. 183 s. et l'arrêt précité de la CJCE Bouchereau, point 29). Celles-ci ne supposent en tout cas pas qu'il soit établi avec certitude que l'étranger commettra d'autres infractions à l'avenir; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une mesure d'ordre public. En réalité, ce risque doit s'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé (cf. <ref-ruling> consid. 3.3 p. 499 s., 176 consid. 4.3.1 p. 185 s.).
4. 4.1 En l'espèce, le recourant reproche à l'autorité intimée d'avoir retenu qu'il présentait un risque de récidive en se fondant principalement sur la décision du juge d'application des peines du 4 janvier 2008, sans s'être fait produire le dossier contenant notamment les "appréciations récentes des médecins psychiatres qui ont suivi le recourant pendant son incarcération". Cette façon de procéder ne serait pas conforme à la jurisprudence de la Cour de justice des Communautés européennes, qui exige la prise en compte de tous les faits et circonstances, avant qu'une décision ne soit prise sur la mesure envisagée (arrêt du 29 avril 2004, Orfanopoulos et Oliveri, aff. jointes C-482/01 et C-493/01). En outre, selon la jurisprudence du Tribunal de céans (<ref-ruling> consid. 4.2), la libération conditionnelle ne serait pas décisive pour apprécier la dangerosité pour l'ordre public de celui qui en bénéficie.
4.2 La jurisprudence de la Cour de justice des Communautés européennes citée par le recourant est postérieure à la signature de l'Accord sur la libre circulation des personnes et ne lie de ce fait pas le Tribunal de céans (cf. <ref-law> et <ref-ruling> consid. 3.6.1 p. 10). Quoi qu'il en soit, la jurisprudence du Tribunal de céans n'a pas une autre teneur, lorsqu'elle commande de prendre en compte, conformément à l'art. 11 al. 3 LSEE, l'ensemble des circonstances dans l'examen de la proportionnalité de l'expulsion (cf. <ref-ruling> consid. 3.3.4 p. 182). Sous l'angle du droit d'être entendu et, plus spécifiquement, du droit de faire administrer des preuves, cela n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 2.1 p. 429). C'est ce qui a amené l'autorité intimée à renoncer à se faire produire le dossier du juge d'application des peines. Or, le recourant ne démontre pas que cette façon de procéder serait arbitraire. Il n'établit en particulier pas que les "appréciations récentes des médecins psychiatres" seraient pertinentes. S'agissant en outre de la portée de la libération conditionnelle pour apprécier la dangerosité de l'intéressé, il est vrai que le Tribunal de céans a estimé qu'elle n'était pas décisive (<ref-ruling> consid. 4.2 p. 500). Il s'est toutefois prononcé sur la portée de l'octroi de la libération conditionnelle en motivant son point de vue par le fait que "la libération conditionnelle [...] est octroyée quasi automatiquement dès que le comportement du détenu en prison ne s'oppose pas à son élargissement" (loc. cit.). Dans ces conditions, le refus de la libération conditionnelle essuyé par le recourant n'en apparaît que plus lourd de signification.
Les griefs soulevés par le recourant sont ainsi mal fondés.
5. 5.1 Selon le recourant, la jurisprudence - appliquée par l'autorité intimée - selon laquelle une condamnation à une peine de deux ans de privation de liberté constitue la limite à partir de laquelle il y a lieu, en général, de considérer que l'intérêt public à l'éloignement de l'étranger l'emporte sur son intérêt privé - et celui de sa famille - à pouvoir demeurer en Suisse, reviendrait à instaurer une présomption que l'intéressé doit être expulsé. Cela serait incompatible avec les dispositions de l'Accord sur la libre circulation et l'arrêt de la Cour de justice des Communautés européennes du 29 avril 2004, précité.
5.2 Comme le Tribunal de céans l'a déjà relevé, la limite de deux ans de peine privative de liberté n'a qu'une valeur indicative et ne constitue pas une limite fixe (<ref-ruling> consid. 4.1 p. 185). Cette jurisprudence n'institue pas de présomption ni d'automatisme et ne dispense pas d'examiner le cas d'espèce à la lumière de l'ensemble des circonstances, de sorte qu'elle n'est pas contraire aux dispositions de l'Accord sur la libre circulation ni à l'arrêt précité. Partant, le recours est mal fondé également sur ce point.
6. 6.1 Selon le recourant, dans la pesée des intérêts, l'autorité intimée aurait minimisé son intérêt à demeurer en Suisse. Elle n'aurait pas suffisamment tenu compte des attaches qu'il a avec ce pays, où il réside depuis 1994, ni du fait qu'il peut "réintégrer très rapidement un emploi salarié". En outre, il fait valoir qu'il a été arrêté par la police et placé en détention préventive (jusqu'au 16 août 2002) le jour même (soit le 26 juillet 2002) où il devait partir au Portugal pour se marier civilement. Le projet de mariage étant aussi avancé, on ne pouvait, selon lui, raisonnablement exiger de sa future épouse qu'elle renonce à cette union (finalement célébrée le 26 décembre 2002), ce d'autant qu'il contestait les accusations portées contre lui.
6.2 Les faits reprochés au recourant sont graves et ont été sanctionnés par une peine de quatre ans de réclusion, qui excède largement la limite indicative de deux ans de prison mentionnée plus haut. En outre, l'autorité intimée a retenu, en se référant notamment au prononcé de la commission de libération conditionnelle du 6 décembre 2006 ainsi qu'à celui du juge d'application des peines du 4 janvier 2008, que le recourant avait eu une "attitude persistante et systématique de déni", ce qui avait "empêché la mise en oeuvre utile du traitement psychiatrique ambulatoire ordonné par l'autorité de jugement". Ne cessant de proclamer son innocence et se posant comme la victime d'une machination, il présentait les traits d'un récidiviste potentiel. Or, le risque de récidive joue un rôle déterminant lors de l'examen du bien-fondé d'une mesure d'éloignement frappant un étranger pouvant se prévaloir de l'Accord sur la libre circulation (cf. <ref-ruling>0 consid. 4.3 p. 24). Dans ces conditions, l'autorité intimée n'a pas violé le droit fédéral ni les dispositions de l'Accord sur la libre circulation en estimant que l'intérêt public à expulser le recourant l'emporte sur l'intérêt de celui-ci à demeurer en Suisse. Quant à la situation de son épouse, le mariage a été célébré cinq mois après l'arrestation du recourant, lequel s'est trouvé en détention préventive pendant trois semaines durant ce laps de temps. Sa future épouse pouvait et devait ainsi envisager l'éventualité que, nonobstant les dénégations du recourant, les accusations portées contre lui soient avérées, avec les conséquences que cela pouvait entraîner du point de vue du droit de ce dernier de séjourner en Suisse.
7. Les considérants qui précèdent conduisent au rejet du recours. Les conclusions du recourant apparaissant dénuées de toute chance de succès, la requête d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Les frais de justice seront fixés compte tenu de la situation financière du recourant (cf. <ref-law>). Ce dernier n'a pas droit à des dépens (<ref-law> a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Des frais judiciaires de 800 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Département de l'intérieur, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 9 juillet 2008
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Merkli Vianin