Faits:
Faits:
A. X._, ressortissant portugais né en 1976, a séjourné en Suisse dès le 1er mars 1996 au bénéfice d'une autorisation saisonnière (permis A) transformée, à partir du 1er mars 1999, en autorisation de séjour (permis B). Par jugement du 1er mai 2001, il a été condamné pour viol et contrainte sexuelle à une peine de deux ans et demi de réclusion assortie d'une expulsion du territoire suisse d'une durée de quinze ans avec sursis pendant cinq ans. A la suite d'un recours partiellement admis, ce jugement a été réformé en ce sens que la peine accessoire d'expulsion a été ramenée à une durée de huit ans avec sursis pendant cinq ans (arrêt du 24 septembre 2001 de la Cour de cassation pénale du Tribunal cantonal du canton de Vaud). Incarcéré le 26 juin 2001, X._ a été mis en régime de semi-liberté dès le 21 juillet 2002; depuis lors, il travaille en qualité de chauffeur-manutentionnaire au service d'une société établie à B._. Il a été mis en liberté conditionnelle le 18 décembre 2002.
Entre-temps, par décision du 18 septembre 2002, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé de renouveler l'autorisation de séjour de X._. Saisi d'un recours contre cette décision, le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) l'a rejeté, par arrêt du 30 juin 2003.
Entre-temps, par décision du 18 septembre 2002, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé de renouveler l'autorisation de séjour de X._. Saisi d'un recours contre cette décision, le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) l'a rejeté, par arrêt du 30 juin 2003.
B. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt précité du Tribunal administratif en ce sens que son autorisation de séjour soit renouvelée ou, subsidiairement, d'annuler cet arrêt et de renvoyer la cause à l'autorité cantonale pour nouvelle décision. A titre préalable, il requiert le bénéfice de l'effet suspensif.
Le Service de la population s'en remet aux déterminations du Tribunal administratif, lequel conclut au rejet du recours, à l'instar de l'Office fédéral de l'immigration, de l'intégration et de l'émigration.
Le Service de la population s'en remet aux déterminations du Tribunal administratif, lequel conclut au rejet du recours, à l'instar de l'Office fédéral de l'immigration, de l'intégration et de l'émigration.
C. Par ordonnance du 12 septembre 2003, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Depuis l'entrée en vigueur, le 1er juin 2002, de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ci-après cité: Accord ou ALCP; RS 0.142.112.681), le recourant peut, en principe, du fait de sa nationalité portugaise, obtenir une autorisation de séjour, notamment aux fins d'exercer une activité économique (cf. <ref-law>). Dans cette mesure, le motif d'irrecevabilité prévu à l'art. 100 al. 1 lettre b ch. 3 OJ ne lui est pas opposable, sans toutefois que cela ne préjuge de l'issue du litige. C'est, en effet, un problème de fond que la question de savoir si, dans un cas particulier, l'Accord confère effectivement le droit à une autorisation de séjour ou si, au contraire, une telle autorisation doit être refusée, par exemple à cause de l'inobservation d'une modalité ou d'une condition requise pour exercer le droit en cause ou pour une autre raison, telle la constatation d'un abus de droit ou l'existence d'un motif d'ordre public (cf. arrêt destiné à la publication du 7 juin 2004, 2A.565/2003, consid. 1.2).
Pour le surplus, formé en temps utile et dans les formes prescrites, le recours est recevable.
Pour le surplus, formé en temps utile et dans les formes prescrites, le recours est recevable.
2. 2.1 Aux termes de son art. 1er lettre a, la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142.20) n'est applicable aux ressortissants des Etats membres de la Communauté européenne et aux membres de leur famille que si l'Accord sur la libre circulation des personnes n'en dispose pas autrement ou si ladite loi prévoit des dispositions plus favorables.
2.2 En l'espèce, le recourant n'a aucun droit, en vertu de la loi fédérale sur le séjour et l'établissement des étrangers, d'obtenir le renouvellement de l'autorisation de séjour, de durée limitée, qui lui avait été accordée (cf. art. 4 a contrario et 5 al. 1 LSEE). En revanche, du moment qu'il entend poursuivre l'activité salariée qu'il exerce en Suisse depuis le 22 juillet 2002, il peut, sous réserve des dispositions transitoires prévues à l'<ref-law>, déduire de l'Accord un droit de séjour (cf. art. 2 par. 1 et 6 ss annexe I ALCP). Ce droit ne peut être limité que par des mesures d'ordre public, au sens de l'<ref-law>, dont le cadre et les modalités sont définis par la directive 64/221/CEE et la jurisprudence pertinente y relative de la Cour de justice des Communautés européennes (ci-après citée: la Cour de justice ou CJCE) rendue avant la signature de l'Accord (cf. <ref-law> en relation avec l'<ref-law>; au sujet de la prise en considération des arrêts de la Cour de justice postérieurs à cette date, cf. <ref-ruling> consid. 3.6 p. 9 ss, 113 consid. 5.2 p. 119 s. et les références citées).
2.3 Conformément à la jurisprudence de la Cour de justice, les limitations au principe de la liberté de circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion de l'ordre public pour restreindre cette liberté suppose, en dehors du trouble pour l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (cf. <ref-ruling>76 consid. 3.4.1 p. 182; <ref-ruling> consid. 7. 3 p. 222 et les arrêts cités de la CJCE du 27 octobre 1977, Bouchereau, 30/77, Rec. 1977, p. 1999, points 33 - 35; du 19 janvier 1999, Calfa, C-348/96, Rec. 1999, p. I-11, points 23 et 25). En particulier, un comportement n'est pas suffisamment grave pour justifier des restrictions à l'admission ou au séjour d'un ressortissant d'un Etat membre sur le territoire d'un autre Etat membre lorsque ce dernier ne prend pas, à l'égard de ses propres ressortissants, des mesures répressives ou d'autres mesures réelles et effectives destinées à combattre ce comportement. Toutefois, comme les Etats membres n'ont pas le pouvoir d'éloigner leurs propres ressortissants (pour la Suisse, cf. l'art. 25 Cst.), une différence de traitement dans les mesures susceptibles d'être prises est admissible (cf. <ref-ruling>76 consid. 3.4.1 p. 182/183; <ref-ruling> consid. 7.2 p. 222 et les références citées, en particulier l'arrêt de la CJCE du 18 mai 1982, Adoui et Cornuaille, 116/81, Rec. 1982, p. 1665, pt 8).
Par ailleurs, les mesures d'ordre public ou de sécurité publique doivent être fondées, aux termes de l'art. 3 par. 1 de la directive 64/221/CEE, exclusivement sur le comportement personnel de celui qui en fait l'objet. Des motifs de prévention générale détachés du cas individuel ne sauraient donc les justifier (<ref-ruling>76 consid. 3.4.1 p. 183; <ref-ruling> consid. 7.1 p. 221 et l'arrêt cité de la CJCE du 26 février 1975, Bonsignore, 67/74, Rec. 1975 p. 297, points 6 et 7). En outre, d'après l'art. 3 par. 2 de la directive 64/221/CEE, la seule existence de condamnations pénales (antérieures) ne peut automatiquement motiver de telles mesures. Les autorités nationales sont tenues de procéder à une appréciation spécifique, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas nécessairement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne peuvent être prises en considération que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle pour l'ordre public (<ref-ruling>76 consid. 3.4.1 p. 183/184; <ref-ruling> consid. 7.4 p. 222 et les arrêts cités de la CJCE du 27 octobre 1977, Bouchereau, 30/77, Rec. 1977, p. 1999, points 27 et 28; du 19 janvier 1999, Calfa, C-348/96, Rec. 1999, p. I-11, point 24); selon les circonstances, la Cour de justice admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (<ref-ruling>76 consid. 3.4.1 p. 183/184 et l'arrêt précité de la CJCE Bouchereau, point 29).
Par ailleurs, les mesures d'ordre public ou de sécurité publique doivent être fondées, aux termes de l'art. 3 par. 1 de la directive 64/221/CEE, exclusivement sur le comportement personnel de celui qui en fait l'objet. Des motifs de prévention générale détachés du cas individuel ne sauraient donc les justifier (<ref-ruling>76 consid. 3.4.1 p. 183; <ref-ruling> consid. 7.1 p. 221 et l'arrêt cité de la CJCE du 26 février 1975, Bonsignore, 67/74, Rec. 1975 p. 297, points 6 et 7). En outre, d'après l'art. 3 par. 2 de la directive 64/221/CEE, la seule existence de condamnations pénales (antérieures) ne peut automatiquement motiver de telles mesures. Les autorités nationales sont tenues de procéder à une appréciation spécifique, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas nécessairement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne peuvent être prises en considération que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle pour l'ordre public (<ref-ruling>76 consid. 3.4.1 p. 183/184; <ref-ruling> consid. 7.4 p. 222 et les arrêts cités de la CJCE du 27 octobre 1977, Bouchereau, 30/77, Rec. 1977, p. 1999, points 27 et 28; du 19 janvier 1999, Calfa, C-348/96, Rec. 1999, p. I-11, point 24); selon les circonstances, la Cour de justice admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (<ref-ruling>76 consid. 3.4.1 p. 183/184 et l'arrêt précité de la CJCE Bouchereau, point 29).
3. 3.1 Pour l'essentiel, le recourant soutient qu'il ne représente pas une menace réelle, grave et actuelle pour l'ordre public au sens de l'art. 3 de la directive 64/221/CEE. En particulier, il relève que les autorités pénales ont formulé un pronostic favorable sur son comportement futur en liberté, puisque la Cour de cassation a confirmé le sursis octroyé à la mesure d'expulsion le frappant, tandis que la Commission de libération du canton de Vaud l'a mis au bénéfice de la liberté conditionnelle (décision du 21 novembre 2002). A ses yeux, le Tribunal administratif était, par conséquent, lié par ce pronostic favorable émanant des autorités pénales, car "il n'existe qu'une seule définition de la notion de l'ordre public" valable aussi bien pour la juridiction administrative que pour la juridiction pénale.
3.2 La décision du juge pénal de renoncer ou de surseoir à l'expulsion d'un condamné étranger en vertu de l'<ref-law> est dictée, au premier chef, par des considérations tirées des perspectives de réinsertion sociale de l'intéressé. Or, pour l'autorité de police des étrangers, c'est la préoccupation de l'ordre et de la sécurité publics qui est prépondérante dans la pesée des intérêts. En matière d'expulsion, son appréciation peut donc s'avérer plus rigoureuse que celle de l'autorité pénale (cf. <ref-ruling>76 consid. 4.3.3 p. 188; <ref-ruling> consid. 3.2 et 7.4, p. 216/217 et 223 et les références citées). Nonobstant l'uniformité de la notion d'ordre public, l'intimée pouvait donc - et même devait - adopter un angle de vue sensiblement différent de la Cour de cassation pour examiner le droit du recourant de demeurer en Suisse.
Considérée comme la quatrième et dernière phase de l'exécution de la peine en droit pénal, la libération conditionnelle au sens de l'<ref-law> est octroyée quasi automatiquement dès que le comportement du détenu en prison ne s'oppose pas à son élargissement (cf. <ref-ruling> consid. 3, 4d et 5b p. 194 ss). Elle n'est dès lors pas décisive pour apprécier la dangerosité pour l'ordre public de celui qui en bénéficie et la police des étrangers est libre de tirer ses propres conclusions à ce sujet (cf. <ref-ruling>76 consid. 4.3.3 p. 188).
3.3 Jusqu'ici, la Cour de justice n'a pas précisé ni même clairement énoncé les critères permettant d'apprécier si une menace est actuelle au sens de la directive 64/221/CEE. Cela étant, on ne saurait déduire de l'arrêt précité Bouchereau qu'une mesure d'ordre public est subordonnée à la condition qu'il soit établi avec certitude que l'étranger commettra d'autres infractions à l'avenir; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. Compte tenu de la portée que revêt le principe de la libre circulation des personnes, ce risque ne doit, en réalité, pas être admis trop facilement. Il faut bien plutôt l'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé ainsi que de la gravité de l'atteinte potentielle qui pourrait y être portée. L'évaluation du risque de récidive sera d'autant plus rigoureuse que le bien juridique menacé est important (cf. <ref-ruling>76 consid. 4.3.1 p. 185/186). En outre, comme lorsqu'il s'agit d'examiner la conformité d'une mesure d'éloignement prise à l'encontre de n'importe quel autre étranger, cette appréciation se fera dans le cadre des garanties découlant de la Convention européenne des droits de l'homme ainsi qu'en tenant compte du principe de la proportionnalité (cf. <ref-ruling>76 consid. 3.4.2 p. 184, <ref-ruling> consid. 6.2 p. 220/221 et les nombreuses références citées, en particulier les arrêts de la CJCE du 28 octobre 1975, Rutili, 36-75, Rec. 1975 p. 1219 ss, point 32; du 11 juillet 2002, Carpenter, C-60/00, Rec. 2002 I-6279, points 42 ss).
3.4 Tous deux passibles d'une peine de dix ans de réclusion (art. 189 al. 1 et 190 al. 1 CP), les crimes commis par le recourant (viol et contrainte sexuelle) présentent incontestablement un haut degré de gravité. Pour fixer la peine à deux ans et demi de réclusion, les autorités pénales ont certes tenu compte, outre des bons antécédents de l'intéressé (absence de casier judiciaire), de sa jeunesse, de son immaturité ainsi que de son caractère fruste. Elles n'ont toutefois pas manqué, également, de souligner la bestialité et la certaine forme de cruauté dont il avait fait preuve pour commettre son forfait, qualifiant son comportement d'ignoble, d'abject, et de sordide. En effet, il apparaît que c'est après avoir passé une soirée avec la victime, toxicomane de son état, et avoir essuyé au moins deux refus clairs à ses avances qu'il a contraint cette dernière, sous la force et avec l'aide d'un ami, à subir diverses pratiques ainsi que l'acte sexuels, tandis que cet ami abusait ensuite d'elle avec le concours du recourant. Durant l'instruction pénale, puis pendant le procès et encore en appel, aussi bien le recourant que son complice n'ont eu de cesse de nier les faits et de dénigrer leur victime, notamment en affirmant qu'elle avait des moeurs légères et qu'elle avait, nonobstant ses dénégations, consenti à entretenir des relations sexuelles avec eux en échange d'une somme de quarante ou cinquante francs.
Compte tenu de la nature du bien juridique auquel il a été porté atteinte (l'intégrité sexuelle) et de la gravité objective et subjective des faits, la vraisemblance d'un risque de récidive ne doit pas être soumise à des exigences trop élevées; c'est au contraire seulement dans l'hypothèse où, au vu de l'ensemble des circonstances, ce risque apparaît relativement ténu qu'une mesure d'ordre public pourra être considérée comme contraire à l'<ref-law>.
3.5 En l'espèce, il est établi par les faits retenus au pénal que le recourant présente un caractère immature et fruste et qu'il a cédé à ses pulsions en faisant montre de brutalité voire même d'une certaine forme de cruauté. Par ailleurs, loin d'exprimer des regrets ou de présenter des excuses pour ses actes, il s'obstine, aujourd'hui encore, à rejeter en bloc sa culpabilité et à critiquer la sentence pénale rendue à son encontre, en se retranchant derrière la thèse qu'il a vainement défendue jusque devant la Cour de cassation, à savoir que la victime était consentante. Aussi bien le tempérament et la personnalité du recourant que son comportement pendant et après l'agression n'autorisent donc pas à exclure avec un degré de certitude suffisant un risque de récidive de sa part.
Certes, les autorités administratives ne sont pas liées par les constatations du juge pénal; elles ne sauraient néanmoins s'en écarter, à moins de fonder leur appréciation sur des faits inconnus du juge pénal ou que celui-ci n'a pas pris en considération, ou s'il existe des preuves nouvelles dont la prise en compte conduit à un autre résultat, ou encore si l'appréciation à laquelle s'est livré le juge pénal se heurte clairement aux faits constatés (cf. <ref-ruling> consid. 3c/aa p. 100; <ref-ruling> consid. 3c/aa p. 163/164 ;<ref-ruling> consid. 1 p. 204 et les références). Vagues et de nature purement appellatoire, les critiques du recourant sont, en l'espèce, totalement impropres à remettre en cause les constatations du juge pénal, d'autant que ces dernières procèdent d'un examen rigoureux et exhaustif de l'ensemble des éléments au dossier; en particulier, les versions qu'ont données l'accusation et la défense sur le déroulement des faits ont été confrontées avec soin l'une à l'autre ainsi qu'avec d'autres témoignages (notamment le médecin traitant de la victime ainsi que deux personnes qui ont vu cette dernière immédiatement après son agression).
3.6 Force est donc d'admettre que le recourant présente une menace réelle, actuelle et suffisamment grave pour la société de nature à justifier une mesure d'ordre public au sens de l'<ref-law> et de la directive 64/221/CEE.
Au vu des circonstances, une telle mesure apparaît, en outre, conforme au principe de la proportionnalité (sur les éléments à prendre en compte dans la pesée des intérêts, cf. <ref-ruling>76 consid. 3.3.4 et 4.4.2 et 4.5 p. 182 et p. 190 ss). Arrivé en Suisse il y a huit ans, le recourant, célibataire et aujourd'hui âgé de 28 ans, est effectivement parfaitement à même de se réinsérer dans son pays d'origine où il a vécu toute son enfance et son adolescence et où, selon toute vraisemblance, il compte également la plupart des membres de sa famille. Il ne fait du reste état d'aucune attache (familiale, relationnelle, professionnelle ou autre) un tant soit peu sérieuse et substantielle avec la Suisse, se contentant d'alléguer vaguement qu'il y est "durablement intégré" et qu'il y travaille "dans un cadre professionnel parfaitement stable".
Au vu des circonstances, une telle mesure apparaît, en outre, conforme au principe de la proportionnalité (sur les éléments à prendre en compte dans la pesée des intérêts, cf. <ref-ruling>76 consid. 3.3.4 et 4.4.2 et 4.5 p. 182 et p. 190 ss). Arrivé en Suisse il y a huit ans, le recourant, célibataire et aujourd'hui âgé de 28 ans, est effectivement parfaitement à même de se réinsérer dans son pays d'origine où il a vécu toute son enfance et son adolescence et où, selon toute vraisemblance, il compte également la plupart des membres de sa famille. Il ne fait du reste état d'aucune attache (familiale, relationnelle, professionnelle ou autre) un tant soit peu sérieuse et substantielle avec la Suisse, se contentant d'alléguer vaguement qu'il y est "durablement intégré" et qu'il y travaille "dans un cadre professionnel parfaitement stable".
4. Il suit de ce qui précède que le recours est mal fondé.
Succombant, le recourant doit supporter un émolument judiciaire (art.156 al. 1 OJ) et n'a pas droit à des dépens (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, au Service de la population et au Tribunal administratif du canton de Vaud ainsi qu'à l'Office fédéral de l'immigration, de l'intégration et de l'émigration.
Lausanne, le 30 août 2004
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: