Faits:
Faits:
A. Par jugement du 30 avril 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a reconnu X._, citoyen pakistanais né en 1976, coupable de contrainte sexuelle, d'infraction à la loi fédérale sur les stupéfiants, de voies de fait et de menaces. Il l'a condamné à la peine de deux ans de réclusion, sous déduction de la détention préventive subie, ainsi qu'à l'expulsion du territoire suisse pour une durée de six ans avec sursis pendant quatre ans.
A. Par jugement du 30 avril 2003, le Tribunal correctionnel de l'arrondissement de Lausanne a reconnu X._, citoyen pakistanais né en 1976, coupable de contrainte sexuelle, d'infraction à la loi fédérale sur les stupéfiants, de voies de fait et de menaces. Il l'a condamné à la peine de deux ans de réclusion, sous déduction de la détention préventive subie, ainsi qu'à l'expulsion du territoire suisse pour une durée de six ans avec sursis pendant quatre ans.
B. Les faits à la base de cette condamnation sont les suivants.
B.a A Lausanne, le 24 novembre 1999, X._ et A._ ont convenu d'une passe au prix d'une dose d'héroïne. Une fois au domicile de X._, celui-ci et son ami Y._, qui l'accompagnait, ont partagé un verre de vin tandis que A._ s'injectait l'héroïne. Elle a immédiatement perdu connaissance et X._ est parvenu à la réanimer quelques minutes plus tard. Selon ses dires, elle avait les idées confuses, était paniquée et tremblait de tous ses membres. Y._ a jugé son état suffisamment critique pour suggérer à son ami de faire appel à la police ou à une ambulance. En outre, un rapport gynécologique effectué au CHUV le jour même à midi relève que A._ était somnolente. Dans ces circonstances, A._ a proposé à X._ de remettre la passe à plus tard mais celui-ci n'a rien voulu savoir et lui a fait comprendre, en baissant son pantalon et son slip, qu'il entendait entretenir immédiatement une relation sexuelle. Y._ a quitté l'appartement à ce moment-là et X._ a imposé une relation sexuelle complète à A._ avant de lui demander sans ménagement de quitter les lieux. Une fois à l'extérieur, elle a demandé de l'aide à une personne qui l'a accompagnée jusqu'à un taxi, dont le chauffeur a décidé de la conduire à la police, où elle a déposé plainte.
Lors des débats, X._ a finalement reconnu, après plusieurs rétractations, avoir entretenu une relation sexuelle complète avec A._, tout en soutenant que celle-ci y avait consenti et en affirmant ne pas se souvenir s'il s'agissait d'une relation vaginale ou anale. Le Tribunal a acquis la conviction que la jeune femme avait été contrainte à un acte d'ordre sexuel et a renoncé, dans le doute, à retenir l'acte sexuel stricto sensu.
B.b A Lausanne, le 12 novembre 2001, X._ a asséné une gifle à B._, qui avait été son amie intime et venait de lui signaler que leur rupture était irrémédiable. A la même occasion, il l'a en outre menacée de mort, menaces qu'il a réitérées à deux ou trois reprises jusqu'au 22 décembre 2001. Ce jour-là, X._, qui présentait une alcoolémie légèrement supérieure à 2 g. 0/00, a aperçu B._ et lui a demandé s'il pouvait la raccompagner chez elle. Devant son refus, il l'a saisie par les cheveux, l'a traînée devant l'entrée de son immeuble en lui tapant la tête contre le mur et l'a mordue à deux reprises, à la pommette droite et à la lèvre. Il l'a à nouveau menacée de mort et lui a administré une gifle sur l'arrière du crâne lorsqu'elle a demandé de l'aide. Il a de surcroît réitéré ses menaces devant la police, qui avait été alertée par une voisine.
B.b A Lausanne, le 12 novembre 2001, X._ a asséné une gifle à B._, qui avait été son amie intime et venait de lui signaler que leur rupture était irrémédiable. A la même occasion, il l'a en outre menacée de mort, menaces qu'il a réitérées à deux ou trois reprises jusqu'au 22 décembre 2001. Ce jour-là, X._, qui présentait une alcoolémie légèrement supérieure à 2 g. 0/00, a aperçu B._ et lui a demandé s'il pouvait la raccompagner chez elle. Devant son refus, il l'a saisie par les cheveux, l'a traînée devant l'entrée de son immeuble en lui tapant la tête contre le mur et l'a mordue à deux reprises, à la pommette droite et à la lèvre. Il l'a à nouveau menacée de mort et lui a administré une gifle sur l'arrière du crâne lorsqu'elle a demandé de l'aide. Il a de surcroît réitéré ses menaces devant la police, qui avait été alertée par une voisine.
C. Par arrêt du 23 septembre 2003, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre ce jugement, qu'elle a confirmé.
S'agissant de l'appréciation des preuves, l'autorité cantonale a considéré qu'elle échappait au grief d'arbitraire, notamment en ce qui concerne l'absence de consentement de A._ pour les relations sexuelles. La cour cantonale a admis par ailleurs que le refus de retrancher du dossier les procès-verbaux d'audition de Y._ ne viole pas l'art. 6 CEDH, d'une part parce que celui-ci a été refoulé vers le Pakistan et a disparu depuis lors, ce qui justifie la prise en considération des déclarations faites en cours d'enquête même si l'accusé n'a pas eu la possibilité de l'interroger, et d'autre part parce qu'il ne constitue pas véritablement un témoin à charge. Enfin, l'autorité cantonale a estimé que la peine avait été fixée dans le respect des principes consacrés à l'art. 63 CP et ne procédait ni d'une violation de l'art. 6 par. 1 CEDH ni d'une violation de l'art. 11 CP.
S'agissant de l'appréciation des preuves, l'autorité cantonale a considéré qu'elle échappait au grief d'arbitraire, notamment en ce qui concerne l'absence de consentement de A._ pour les relations sexuelles. La cour cantonale a admis par ailleurs que le refus de retrancher du dossier les procès-verbaux d'audition de Y._ ne viole pas l'art. 6 CEDH, d'une part parce que celui-ci a été refoulé vers le Pakistan et a disparu depuis lors, ce qui justifie la prise en considération des déclarations faites en cours d'enquête même si l'accusé n'a pas eu la possibilité de l'interroger, et d'autre part parce qu'il ne constitue pas véritablement un témoin à charge. Enfin, l'autorité cantonale a estimé que la peine avait été fixée dans le respect des principes consacrés à l'art. 63 CP et ne procédait ni d'une violation de l'art. 6 par. 1 CEDH ni d'une violation de l'art. 11 CP.
D. X._ forme un recours de droit public contre cet arrêt. Soutenant qu'il est arbitraire et viole son droit à un procès équitable, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué.
D. X._ forme un recours de droit public contre cet arrêt. Soutenant qu'il est arbitraire et viole son droit à un procès équitable, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué.
E. X._ forme également un pourvoi en nullité contre cet arrêt. Il fait valoir que l'arrêt attaqué viole les art. 11 et 63 CP ainsi que 6 par. 1 et 2 CEDH et conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué. Il sollicite en outre l'effet suspensif.
F. L'autorité cantonale a renoncé à se déterminer sur les recours, se référant aux considérants de son arrêt.
Le Tribunal fédéral considère en droit:
I. Recours de droit public
I. Recours de droit public
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 129 IV 216 consid. 1; 126 IV 107 consid. 1 p. 109; 126 I 81 consid. 1 p. 83 et les arrêts cités).
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 129 IV 216 consid. 1; 126 IV 107 consid. 1 p. 109; 126 I 81 consid. 1 p. 83 et les arrêts cités).
2. Le recourant reproche à l'autorité cantonale d'avoir violé son droit à un procès équitable, garanti par l'art. 6 par. 1 CEDH, en confirmant le refus de retrancher du dossier la déposition de Y._, qu'il n'a pas eu l'occasion d'interroger ou de faire interroger. Il soutient par ailleurs qu'il était arbitraire de considérer que Y._ n'était pas un témoin à charge.
Selon l'art. 6 par. 3 let. d CEDH, tout accusé a le droit d'interroger ou de faire interroger les témoins à charge; ce droit ne vaut pas seulement à l'encontre des témoins au sens classique du terme, mais à l'encontre de toute personne qui fait des dépositions à charge. Il s'agit d'une règle concrétisant le droit à un procès équitable garanti par l'art. 6 par. 1 CEDH (ATF 129 I 151 consid. 3.1 et les références citées). Les éléments de preuve doivent en principe être produits en présence de l'accusé lors d'une audience publique, en vue d'un débat contradictoire. Cette règle tend à assurer l'égalité des armes entre l'accusation et la défense. Il est possible de prendre en compte des dépositions recueillies durant la phase de l'enquête dans la mesure où l'accusé a disposé d'une occasion adéquate et suffisante pour contester ces témoignages à charge et pour interroger ou faire interroger leur auteur. Exceptionnellement, le juge peut prendre en considération une déposition faite au cours de l'enquête alors que l'accusé n'a pas eu l'occasion de faire interroger son auteur. Il en est ainsi lorsqu'il n'est plus possible de procéder à une audition contradictoire en raison du décès ou d'un empêchement durable du témoin, ou parce qu'il est introuvable ou refuse de témoigner; dans ces cas toutefois, il faut que l'accusé puisse se déterminer sur la déposition, que celle-ci soit examinée avec soin et, enfin, qu'elle soit corroborée par d'autres éléments de preuve, de sorte que la condamnation ne soit pas fondée exclusivement ou de manière déterminante sur cette seule déposition (ATF 125 I 127 consid. 6 p. 131 s.; 124 I 274 consid. 5b p. 284 s. et les arrêts cités, en particulier les arrêts Unterpertinger et Asch de la CourEDH, PCourEDH Série A 110 ch. 32 s. et Série A 203 ch. 28 s.; arrêt Saïdi de la CourEDH, PCourEDH Série A 261C ch. 41 s.).
Dans sa jurisprudence, la Cour européenne des droits de l'homme s'emploie à rechercher si la procédure, examinée dans son ensemble, revêt un caractère équitable (cf. arrêt van Mechelen, PCourEDH 1997 p. 691 ch. 50). La question de savoir si le droit d'interroger ou de faire interroger les témoins à charge garanti à l'art. 6 par. 3 let. d CEDH est respecté doit en conséquence être examinée dans chaque cas en fonction de l'ensemble de la procédure et des circonstances concrètes du cas.
En l'espèce, le témoignage litigieux a été recueilli et verbalisé par le juge d'instruction au cours de l'enquête. Malgré plusieurs démarches et recherches, le témoin n'a pas pu être contacté au Pakistan, pays vers lequel il a été refoulé après le refus définitif de sa demande d'asile. Il y a donc lieu de considérer que l'on se trouve en présence d'un cas dans lequel il n'est plus possible de procéder à une audition contradictoire en raison d'un empêchement durable du témoin, qui est introuvable, ce qui légitime, ainsi que cela a été rappelé plus haut, la prise en considération de la déposition faite en cours d'enquête. Comme le recourant a eu la possibilité de se déterminer sur cette déposition, que celle-ci a été dûment examinée par les autorités cantonales et ne constitue de loin pas le seul élément à l'origine de la condamnation du recourant, le refus de retirer ce témoignage du dossier ne fait pas apparaître la procédure comme inéquitable, de sorte que le grief tiré d'une violation de l'art. 6 par. 1 et 3 CEDH est mal fondé et doit être rejeté.
Dès lors que rien ne s'oppose à la prise en considération de ce témoignage même à charge du recourant, il n'est pas nécessaire de se déterminer sur la question de savoir s'il doit ou non être considéré comme tel. Il n'y a donc pas lieu d'examiner le grief tiré de l'arbitraire des constatations de l'autorité cantonale à ce propos puisqu'il est dénué de toute portée.
Dès lors que rien ne s'oppose à la prise en considération de ce témoignage même à charge du recourant, il n'est pas nécessaire de se déterminer sur la question de savoir s'il doit ou non être considéré comme tel. Il n'y a donc pas lieu d'examiner le grief tiré de l'arbitraire des constatations de l'autorité cantonale à ce propos puisqu'il est dénué de toute portée.
3. Le recourant soutient en outre que l'arrêt attaqué est entaché d'arbitraire sur plusieurs points. Il cherche tout d'abord à remettre en question la fiabilité des déclarations de la victime, en se référant à une attestation de son médecin traitant, qui considère comme plausible qu'elle ait pu présenter des états psychiques aigus associés à une perception inadéquate de la réalité, ce qui serait confirmé par le fait qu'elle ait dans un premier temps déclaré que deux hommes, savoir le recourant et le témoin Y._, l'avaient sodomisée contre son gré. Le recourant estime d'autre part que l'autorité cantonale ne disposait d'aucun élément certain, ni même probable pour déterminer l'état de la victime après sa perte de conscience. Enfin, le recourant considère comme arbitraire l'appréciation faite de sa propre attitude pendant les débats, qualifiée par l'autorité cantonale de peu convaincante alors qu'il a toujours nié avoir usé de contrainte envers la victime.
3.1 Une décision est arbitraire et donc contraire à l'art. 9 Cst. lorsqu'elle viole clairement une norme ou un principe juridique clair et indiscuté ou contredit de manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si sa décision apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision soient insoutenables, il faut encore que celle-ci soit arbitraire dans son résultat; à cet égard, il ne suffit pas non plus qu'une solution différente de celle retenue par l'autorité cantonale apparaisse également concevable ou même préférable (ATF 128 II 259 consid. 5 p. 280; 127 I 54 consid. 2b p. 56, 60 consid. 5a p. 70; 124 IV 86 consid. 2a p. 88 et les arrêts cités). En matière d'appréciation des preuves et d'établissement des faits, une décision est entachée d'arbitraire lorsqu'elle ne prend pas en compte, sans raison sérieuse, un moyen de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur le sens et la portée d'un tel élément, ou encore lorsqu'elle tire des déductions insoutenables à partir des éléments recueillis (ATF 129 I 8 consid. 2.1; 127 I 38 consid. 2a p. 41; 124 I 208 consid. 4a).
3.2 L'autorité cantonale a fondé sa conviction quant à l'absence de consentement de la victime aux rapports entretenus avec le recourant sur plusieurs éléments.
Elle a tout d'abord pris en considération l'état de santé de la victime, dont il n'est pas contesté qu'elle avait perdu connaissance quelques minutes auparavant et qui, après avoir été réanimée, tremblait de tous ses membres, ainsi que cela ressort des déclarations du témoin Y._, qui a par ailleurs jugé son état suffisamment critique pour suggérer à son ami de faire appel à une ambulance ou à la police. Au surplus, un rapport médical indique que la victime présentait encore des séquelles, sous forme de somnolence, plusieurs heures après son évanouissement.
L'autorité cantonale a ensuite relevé qu'il ressort des déclarations du chauffeur de taxi qui l'a prise en charge quelques minutes après les faits que la victime lui a déclaré avoir été violée peu auparavant, ce qui l'a amené à faire appel à la police, auprès de laquelle a été déposée la plainte qui est à l'origine de la présente procédure. Certes, la victime a à cette occasion, déclaré avoir été abusée par deux hommes, affirmation sur laquelle elle est revenue ultérieurement, ce qui dénote effectivement l'existence d'une certaine confusion de son esprit à ce moment-là. C'est toutefois le seul point sur lequel les déclarations de la victime ont varié. Par ailleurs, sa version des faits est corroborée par d'autres éléments de preuve, tels que les déclarations du témoin Y._ et celles du chauffeur de taxi, les constatations relatives à l'état physique de la victime dans les heures qui ont suivi les faits dénoncés, la souffrance authentique de la victime constatée par l'autorité de jugement au cours de la procédure, ainsi que l'effort que représentait pour elle le dépôt de plainte et la poursuite de la procédure pénale, qui l'obligeait notamment à avouer sa toxicomanie, de sorte que l'on conçoit difficilement pour quelles raisons elle y aurait consenti dans le seul but de porter préjudice au recourant, qui ne prétend lui-même pas qu'elle aurait eu des raisons de chercher à lui nuire. Dans ces circonstances, on ne saurait qualifier d'insoutenable le choix fait par l'autorité cantonale de considérer comme plus crédible la version des faits de la victime que celle du recourant qui repose sur ses seules affirmations.
Dès lors, la décision attaquée n'étant pas arbitraire dans son résultat, ce grief est également mal fondé et le recours de droit public doit être rejeté.
Dès lors, la décision attaquée n'étant pas arbitraire dans son résultat, ce grief est également mal fondé et le recours de droit public doit être rejeté.
4. Vu le sort du recours de droit public, les frais afférents à celui-ci doivent être mis à la charge du recourant qui succombe (art. 156 al. 1 OJ).
II. Pourvoi en nullité
II. Pourvoi en nullité
5. Invoquant une violation des art. 11 et 63 CP, cette dernière disposition ayant selon lui été interprétée d'une manière incompatible avec l'art. 6 CEDH, le recourant s'en prend exclusivement à la quotité de la peine qui lui a été infligée.
5.1 Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Un pourvoi en nullité portant sur la quotité de la peine ne peut donc être admis que si la sanction a été fixée en dehors du cadre légal, si elle est fondée sur des critères étrangers à l'art. 63 CP, si les éléments d'appréciation prévus par cette disposition n'ont pas été pris en compte ou enfin si la peine apparaît exagérément sévère ou clémente au point que l'on doive parler d'un abus du pouvoir d'appréciation (ATF 127 IV 101 consid. 2c p. 104; 124 IV 286 consid. 4a p. 295; 123 IV 49 consid. 2a p. 51, 150 consid. 2a p. 152 s. et les arrêts cités).
Le juge doit exposer dans sa décision les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens atténuant ou aggravant. Il peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui paraissent non pertinents ou d'une importance mineure. La motivation doit justifier la peine prononcée, en permettant de suivre le raisonnement adopté, mais le juge n'est nullement tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite. Un pourvoi ne saurait être admis simplement pour améliorer ou compléter un considérant lorsque la décision rendue apparaît conforme au droit (ATF 127 IV 101 consid. 2c p. 104 s.; 122 IV 265 consid. 2d p. 269).
La gravité de la faute est le critère essentiel à prendre en considération dans la fixation de la peine et le juge doit l'évaluer en fonction de tous les éléments pertinents, notamment ceux qui ont trait à l'acte lui-même, à savoir le résultat de l'activité illicite, le mode d'exécution, l'intensité de la volonté délictuelle et les mobiles, et ceux qui concernent l'auteur, soit ses antécédents, sa situation personnelle et son comportement après l'acte et au cours de la procédure pénale (ATF 127 IV 101 consid. 2a p. 103; 122 IV 241 consid. 1a p. 243; 118 IV 21 consid. 2b p. 24 s.; 117 IV 112 consid. 1; 116 IV 288 consid. 2a). Concernant la situation personnelle de l'auteur, le juge doit prendre en compte sa vulnérabilité face à la peine, soit son état de santé et son âge, ses obligations familiales, sa situation professionnelle, les risques de récidive, etc. (ATF 102 IV 231 consid. 3 p. 233; 96 IV 155 consid. 3 p. 179).
5.2 Le recourant soutient tout d'abord qu'en considérant comme un facteur aggravant le fait d'avoir nié les actes dont il a à répondre l'autorité cantonale a sanctionné l'exercice d'un droit légitime, savoir celui de se taire, de nier ou de mentir, et a ainsi interprété l'art. 63 CP d'une manière incompatible avec l'art. 6 par. 2 CEDH, qui consacre la présomption d'innocence.
Si le pourvoi en nullité ne peut être formé que pour violation du droit fédéral, à l'exception de la violation directe d'un droit de rang constitutionnel (art. 269 PPF), notion qui comprend les droits découlant de la CEDH (ATF 121 IV 104 consid. 2b p. 107, 119 IV 107 consid. 1a), le grief tiré d'une violation indirecte de la CEDH, c'est-à-dire d'une interprétation du droit fédéral incompatible avec cette convention, est recevable dans le cadre d'un pourvoi en nullité (ATF 119 IV 107 consid. 1a et les arrêts cités).
La Cour européenne des droits de l'homme considère que le droit de se taire fait partie des normes internationales généralement reconnues qui se trouvent au coeur de la notion de procès équitable, selon l'art. 6 par. 1 CEDH (arrêt du 8 février 1996 Murray c. Royaume-Uni, ch. 45, Rec. 1996 p. 30; voir aussi arrêts du 6 juin 2000 Averill c. Royaume-Uni, ch. 45; du 2 mai 2000 Condron c. Royaume-Uni, ch. 56; ATF 121 II 257 consid. 4a p. 264).
D'après ladite cour, le droit de se taire interdit au juge de fonder une condamnation exclusivement ou même essentiellement sur le silence du prévenu, ainsi que sur son refus de répondre à des questions ou de déposer. Par contre, ce droit n'interdit pas de prendre en considération le silence du prévenu dans des situations qui appellent assurément une explication de sa part, pour apprécier la force de persuasion des éléments à charge. A cet égard, le droit de se taire n'a donc pas de portée absolue. Pour apprécier si le fait de tirer de son silence des conclusions défavorables au prévenu est contraire à l'art. 6 CEDH, il faut tenir compte de l'ensemble des circonstances et rechercher dans chaque cas si les charges de l'accusation sont suffisamment sérieuses pour appeler une réponse. Le juge de la cause pénale ne peut pas conclure à la culpabilité du prévenu simplement parce que celui-ci choisit de garder le silence. C'est seulement si les preuves à charge appellent une explication que l'accusé devrait être en mesure de donner, que l'absence de celle-ci peut permettre de conclure, par un simple raisonnement de bon sens, qu'il n'existe aucune explication possible et que l'accusé est coupable (arrêt précité Murray, ch. 47 et ss; arrêts Averill et Condron, op. cit., loc. cit.).
S'agissant des conséquences que le juge peut tirer d'un silence du condamné lorsqu'il s'agit de déterminer la quotité de la peine à lui infliger, le Tribunal fédéral a considéré que l'art. 6 par. 2 CEDH n'excluait pas la possibilité de considérer comme un facteur aggravant de la peine le comportement de l'accusé qui rend plus difficile l'enquête pénale par des dénégations opiniâtres, dont on peut déduire une absence de remords et de prise de conscience de sa faute (ATF 113 IV 56). Dans un arrêt ultérieur, où se posait la question de savoir quels éléments le juge peut prendre en considération pour déterminer la quotité de la peine sans violer la présomption d'innocence, le Tribunal fédéral a toutefois concédé que le fait de tenir compte du manque de prise de conscience de l'intéressé pour augmenter la peine qui lui est infligée n'allait pas sans poser de questions (arrêt 6S.686/1994 du 10 mai 1995, consid. 2b).
En doctrine, Trechsel, (Kurzkommentar, Schweizerisches Strafgesetzbuch, 2e éd., Zurich 1997, n. 14b ad art. 63) estime que l'aveu ne saurait justifier une diminution de la peine car une telle pratique influence la décision de se taire ou de ne pas le faire. Selon Dubs (in Festgabe zum Schweizerischen Juristentag, Bâle 1963, p. 19) le silence de l'accusé ne peut être pris en considération que s'il dénote véritablement un manque de conscience de la faute commise et il faut faire preuve d'une grande retenue dans ce contexte. Pour sa part, Stratenwerth (Schweizerisches Strafrecht, Allg. Teil II, Berne 1989, par. 7 n. 51, p. 241) est d'avis qu'il est pratiquement impossible de savoir si le silence de l'accusé est imputable à un manque de prise de conscience de sa faute. Cet auteur relève par ailleurs que dans le cas où les dénégations de l'intéressé résultent d'une volonté de ne pas collaborer à la procédure, la possibilité d'en tirer des conséquences défavorables pour lui peut générer une pression difficilement compatible avec le droit de se taire. Wiprächtiger (in Basler Kommentar, Strafgesetzbuch I, 2003, n. 110 s. ad art. 63, p. 916) estime que l'absence de regrets et de remords devrait être traité de manière neutre, et donc ne pas influencer la peine, celui qui fait preuve de tels sentiments pouvant en revanche bénéficier d'une diminution de celle-ci.
On peut encore noter qu'en droit allemand il est admis que le silence du condamné ne peut pas être utilisé à son détriment, même au stade de la fixation de la peine, de sorte qu'il ne saurait justifier une aggravation de celle-ci (Schönke/Schröder/Stree, Strafgesetzbuch, Kommentar, 26e éd., 2001, par. 46, n. 42; Schäfer, Praxis der Strafzumessung, Munich 2001, p. 153 n. 379).
En l'espèce, l'autorité cantonale disposait de suffisamment d'éléments à charge pour permettre une prise en considération du silence du prévenu. Dès lors que, conformément à la jurisprudence de la Cour européenne des droits de l'homme rappelée ci-dessus, l'autorité cantonale était fondée à en tenir compte pour apprécier la culpabilité du recourant, elle pouvait également le faire pour déterminer la quotité de la peine. On conçoit en effet mal pour quelle raison le droit de se taire acquerrait une portée absolue au stade de la fixation de la peine alors qu'il ne revêt pas un tel caractère lorsqu'il s'agit d'apprécier la culpabilité.
5.3 Le recourant reproche également à l'autorité cantonale d'avoir violé les art. 11 et 63 CP en refusant de tenir compte de l'alcoolémie de 2,1 g.0/00 qu'il présentait au moment des faits commis à l'encontre de B._.
Conformément à l'art. 11 CP, le juge peut atténuer librement la peine si, par suite d'un trouble dans sa santé mentale ou dans sa conscience ou par suite d'un développement mental incomplet, le délinquant, au moment d'agir, ne possédait pas pleinement la faculté d'apprécier le caractère illicite de son acte ou de se déterminer d'après cette appréciation.
Pour les cas où le délinquant était sous l'effet de l'alcool au moment des faits, la jurisprudence a retenu un critère, certes tout à fait approximatif, selon lequel une diminution de responsabilité est en règle générale donnée lorsque l'alcoolémie est supérieure à 2 g. 0/00 et l'irresponsabilité totale, conformément à l'art. 10 CP, lorsqu'elle dépasse 3 g. 0/00. Il s'agit toutefois d'une simple présomption, qui ne repose sur aucune base médicale et peut être renversée dans un cas donné en raison d'indices contraires (ATF 122 IV 49 consid. 1d ; 119 IV 120 consid. 2b et les références citées). Ce sont donc les constatations faites dans le cas particulier qui sont déterminantes.
En l'espèce, on peut noter d'emblée que l'alcoolémie dont se prévaut le recourant est à la limite inférieure qui justifie la présomption, de sorte que celle-ci est d'autant moins forte. En outre, il ne ressort nullement des constations de l'autorité cantonale que le recourant aurait eu un comportement qui dénote une modification de ses capacités jusqu'au moment où il a essuyé le refus de son ex-amie de le laisser la raccompagner jusqu'à son appartement. Par ailleurs, comme le relève l'autorité cantonale, le comportement ne tranche en rien avec celui qu'il avait adopté à plusieurs reprises depuis la rupture qui lui avait été signifiée par sa victime une dizaine de jours auparavant. En effet, le recourant avait déjà, au cours des dernières semaines, menacé sa victime de mort à deux ou trois reprises, menaces qui paraissaient sérieuses puisque l'autorité cantonale relève qu'elles ont fortement effrayé leur destinataire. Dans ces circonstances, il y a lieu de constater que l'autorité cantonale disposait de suffisamment d'éléments pour pouvoir considérer que la présomption liée à l'alcoolémie était renversée, ce d'autant que cette présomption était particulièrement faible, le taux constaté se situant à la limite inférieure.
5.4 Enfin, le recourant reproche à l'autorité cantonale d'avoir violé les art. 63 CP et 6 par. 1 CEDH par son refus de prendre en considération le temps écoulé depuis la commission des infractions dont il a à répondre. Il fait valoir qu'au moment où a été rendu le jugement attaqué, savoir le 23 septembre 2003, l'infraction de voies de fait était proche de la prescription, qui devait être acquise le 22 décembre 2003.
Conformément à l'art. 64 CP, le juge pourra atténuer la peine lorsqu'un temps relativement long se sera écoulé depuis l'infraction et que le délinquant se sera bien comporté pendant ce temps.
Selon la jurisprudence, on ne peut considérer qu'un temps relativement long s'est écoulé que si la prescription pénale est près d'être acquise, c'est-à-dire si le jugement a été rendu à une date proche de celle où la prescription ordinaire serait intervenue (ATF 102 IV 198 consid. 5 p. 209; 92 IV 201 consid. I p. 202 s.). Cette circonstance atténuante est liée à la prescription car l'effet guérisseur du temps écoulé, qui rend moindre la nécessité de punir, doit aussi pouvoir être pris en considération lorsque la prescription n'est pas encore acquise mais qu'elle est près de l'être et que le délinquant s'est bien comporté dans l'intervalle (ATF 92 IV 201 consid. I p. 202 s.).
En principe, ce motif d'atténuation ne s'applique qu'aux infractions soumises au délai ordinaire de prescription, à l'exclusion de celles soumises à un délai de prescription spécial, généralement fixé à deux ans car un tel délai n'est pas suffisant pour que le bon comportement de l'intéressé puisse être considéré comme probant (ATF 92 IV 201 consid. I b; 89 IV 3 consid. 1; voir aussi Stratenwerth, Schweizerisches Strafrecht, Allg. Teil II, Berne 1989, par. 7, n. 96, p. 262; Alex Briner, Die ordentliche Strafmilderung nach dem Schweizerischen Strafgesetzbuch, unter besonderer Berücksichtigung der Strafmilderungsgründe des Art. 64, thèse Zurich 1977, p. 142; Hubert Fischer, die Strafverfolgung im deutschen und schweizerischen Strafgesetzbuch, thèse Karlsruhe 1970, p. 190). Le refus de tenir compte du temps écoulé ne viole donc pas le droit fédéral et ce grief est également mal fondé. Le pourvoi doit dès lors être rejeté.
En principe, ce motif d'atténuation ne s'applique qu'aux infractions soumises au délai ordinaire de prescription, à l'exclusion de celles soumises à un délai de prescription spécial, généralement fixé à deux ans car un tel délai n'est pas suffisant pour que le bon comportement de l'intéressé puisse être considéré comme probant (ATF 92 IV 201 consid. I b; 89 IV 3 consid. 1; voir aussi Stratenwerth, Schweizerisches Strafrecht, Allg. Teil II, Berne 1989, par. 7, n. 96, p. 262; Alex Briner, Die ordentliche Strafmilderung nach dem Schweizerischen Strafgesetzbuch, unter besonderer Berücksichtigung der Strafmilderungsgründe des Art. 64, thèse Zurich 1977, p. 142; Hubert Fischer, die Strafverfolgung im deutschen und schweizerischen Strafgesetzbuch, thèse Karlsruhe 1970, p. 190). Le refus de tenir compte du temps écoulé ne viole donc pas le droit fédéral et ce grief est également mal fondé. Le pourvoi doit dès lors être rejeté.
6. Vu l'issue de ce recours, les frais afférents au pourvoi doivent être mis à la charge du recourant qui succombe (art. 278 al. 1 PPF).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté.
1. Le recours de droit public est rejeté.
2. Le pourvoi est rejeté.
2. Le pourvoi est rejeté.
3. Un émolument judiciaire de 4'000 fr. est mis à la charge du recourant.
3. Un émolument judiciaire de 4'000 fr. est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie aux parties, à la Cour de cassation pénale du Tribunal cantonal et au Ministère public du canton de Vaud.
Lausanne, le 13 août 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: