Faits:
Faits:
A. Par jugement du 6 mars 2003, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a condamné X._, né en 1970, pour voies de fait, lésions corporelles simples, menaces, contrainte, contrainte sexuelle et viol entre époux, à deux ans d'emprisonnement, sous déduction de cent quarante-huit jours de détention préventive, et a ordonné un traitement psychiatrique ambulatoire. En bref, il ressort les éléments suivants de ce jugement:
Le 15 juillet 2000, X._ a épousé A._. Entre l'été 2000 et le mois de juin 2001, X._ a régulièrement frappé son épouse, la saisissant par le cou ou par les habits à la hauteur du cou pour la faire tomber, pour la plaquer contre un mur et pour la frapper ensuite à coups de pied et de poing, sur le visage et le corps. A plusieurs reprises, il a aussi menacé avec un pistolet son épouse, la fille de celle-ci âgée de six ans et leur fils de quelques mois. Il a dit qu'il les tuerait si son épouse le quittait. Durant la même période, X._ a forcé plusieurs fois son épouse à entretenir des relations sexuelles et à pratiquer contre son gré des fellations. Le tribunal n'a pas pu établir le nombre exact de ces violences sexuelles mais a considéré qu'elles s'étaient déroulées au moins à dix reprises. X._ a aussi sodomisé son épouse et l'a contrainte à des actes d'urolagnie. L'épouse a déposé plainte pénale les 7 et 8 juin et 3 juillet 2001.
X._ a été soumis à une expertise psychiatrique. Les experts ont conclu à une légère diminution de sa responsabilité. Ils ont recommandé un traitement ambulatoire pour diminuer le risque de récidive, sans considérer que les chances d'un tel traitement étaient amoindries par l'exécution d'une peine privative de liberté.
X._ a été soumis à une expertise psychiatrique. Les experts ont conclu à une légère diminution de sa responsabilité. Ils ont recommandé un traitement ambulatoire pour diminuer le risque de récidive, sans considérer que les chances d'un tel traitement étaient amoindries par l'exécution d'une peine privative de liberté.
B. Par arrêt du 25 août 2003, dont les considérants écrits ont été envoyés aux parties le 15 janvier 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._.
B. Par arrêt du 25 août 2003, dont les considérants écrits ont été envoyés aux parties le 15 janvier 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._.
C. Celui-ci se pourvoit en nullité au Tribunal fédéral contre cet arrêt. Il conclut à son annulation et sollicite par ailleurs l'effet suspensif.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Le raisonnement juridique doit donc être mené sur la base des faits retenus dans la décision attaquée, dont le recourant est irrecevable à s'écarter (<ref-ruling> consid. 1 p. 66/67).
Le Tribunal fédéral n'est pas lié par les motifs invoqués, mais il ne peut aller au-delà des conclusions du recourant (art. 277bis PPF). Les conclusions devant être interprétées à la lumière de leur motivation (<ref-ruling> consid. 1 p. 103), le recourant a circonscrit les points litigieux.
Le Tribunal fédéral n'est pas lié par les motifs invoqués, mais il ne peut aller au-delà des conclusions du recourant (art. 277bis PPF). Les conclusions devant être interprétées à la lumière de leur motivation (<ref-ruling> consid. 1 p. 103), le recourant a circonscrit les points litigieux.
2. Le recourant observe que les actes qualifiés de contrainte sexuelle et de viol se sont passés entre l'été 2000 et juin 2001. Il invoque une violation des art. 189 al. 2 et 190 al. 2 CP. Selon ces dispositions, la contrainte sexuelle et le viol "[seront poursuivis] sur plainte si l'auteur est marié avec la victime et s'il fait ménage commun avec elle. Le droit de porter plainte se prescrit par six mois". Le recourant soutient que ce délai de six mois court à partir de chaque infraction. Or, certains actes remontaient à plus de six mois au moment du dépôt de la plainte en juillet 2001. Pour lui, il doit donc être libéré des infractions antérieures de six mois au dépôt de la plainte. Il conteste l'existence d'une unité d'actes.
2.1 Les art. 189 al. 2 et 190 al. 2 CP soumettent la poursuite de la contrainte sexuelle ou du viol entre conjoints qui font ménage commun au dépôt d'une plainte pénale dans un délai de six mois. Le 3 octobre 2003, les Chambres fédérales ont abrogé l'alinéa 2 de ces dispositions, considérant nécessaire de dorénavant poursuivre d'office les abus sexuels entre époux (FF 2003 6067). Le Conseil fédéral a fixé l'entrée en vigueur de cette modification au 1er avril 2004. Quoi qu'il en soit, les art. 189 al. 2 et 190 al. 2 CP, en vigueur au moment des faits, gardent toute leur portée pour la présente affaire.
2.2 La plainte pénale au sens des <ref-law> est une déclaration de volonté inconditionnelle par laquelle le lésé demande l'introduction d'une poursuite pénale. Elle constitue ainsi une simple condition de l'ouverture de l'action pénale (<ref-ruling> consid. 2a p. 83). Selon l'<ref-law>, "le droit de porter plainte se prescrit par trois mois. Le délai court du jour où l'ayant droit a connu l'auteur de l'infraction". Les art. 189 al. 2 et 190 al. 2 CP étendent le délai de plainte de l'<ref-law> en le portant à six mois.
2.3 Par le passé, la jurisprudence s'est servie de la notion du délit successif pour déterminer le point de départ du délai de plainte selon l'<ref-law> en cas de pluralité d'infractions de même nature. Le délit successif étant assimilé juridiquement à un délit unique sans égard au nombre des actes punissables, il en résultait que, pour un délit poursuivi sur plainte, la plainte déposée dans les trois mois dès le dernier acte commis pouvait être étendue à l'activité antérieure (<ref-ruling> consid. 1a p. 66). Après l'abandon de la figure juridique du délit successif (<ref-ruling>), la jurisprudence a déterminé le début du délai de plainte par analogie avec la fixation du point de départ de la prescription en cas de pluralité d'infractions formant une unité (<ref-ruling> consid. 2b p. 329; cf. aussi <ref-ruling> consid. 2a p. 275).
Conformément à l'<ref-law> (art. 71 al. 2 aCP), si le délinquant a exercé son activité coupable à plusieurs reprises, la prescription court du jour du dernier acte. Selon la jurisprudence, plusieurs infractions distinctes doivent être considérées comme une entité au regard de l'<ref-law> (art. 71 al. 2 aCP), c'est-à-dire comme une activité globale pour laquelle le délai de prescription commence à courir du jour où le dernier acte a été commis, si elles sont identiques ou analogues, si elles ont été commises au préjudice du même bien juridiquement protégé et si elles procèdent d'un comportement durablement contraire à un devoir permanent de l'auteur, sans que l'on soit toutefois en présence d'un délit continu au sens de l'art. 71 lettre c (art. 71 al. 3 aCP). La question de savoir si cette condition est réalisée ne peut être définie exhaustivement en une formule abstraite. Elle doit être tranchée en fonction du cas concret, en tenant compte du sens et du but de la prescription ainsi que des circonstances de l'état de fait du cas d'espèce. Dans tous les cas, il faut que l'infraction en cause implique, expressément ou par son but, la violation durable d'un devoir permanent. L'existence d'une unité du point de vue de la prescription ne doit être admise que restrictivement, pour éviter de réintroduire sous une autre forme la notion abandonnée de délit successif (<ref-ruling> consid. 1b p. 54).
Par rapport à l'<ref-law>, le Tribunal fédéral a admis le délai de plainte pour des lésions corporelles simples (<ref-law>) et des menaces (<ref-law>) ne commençait à courir qu'avec le dernier acte dans le cas d'un mari qui battait et maltraitait régulièrement son épouse et la maintenait ainsi durablement dans un état de peur (arrêt non publié 6S.185/2003 du 4 février 2004).
2.4 Les différents abus sexuels commis par le recourant sur son épouse constituent des actes analogues et lèsent le même bien juridiquement protégé. Les deux premiers éléments pour admettre une unité sont donc réunis. Il reste à examiner la condition d'un comportement durablement contraire à un devoir permanent de l'auteur. En l'espèce, la communauté conjugale se trouvait régulièrement sous tension en raison des actes de violence du recourant. Celui-ci a placé son épouse dans un état d'anxiété durable, la menaçant en particulier de mort si elle le quittait. Le Tribunal correctionnel a noté que les menaces du recourant avait poussé l'épouse à se taire durant plusieurs semaines et à rester au domicile conjugal. L'épouse s'est en quelque sorte trouvée dans une relation de dépendance et d'oppression. Le recourant a créé cette emprise et l'a prolongée dans le temps. Ce contexte justifie d'apprécier les abus sexuels commis comme une unité. Les actes ne peuvent être qualifiés d'isolés et de dépourvus de lien entre eux. En ce sens, la situation s'apparente à celle du maître d'école qui abuse sur une longue période de ses élèves (<ref-ruling> consid. 2c/cc p. 10). Il s'ensuit que la Cour de cassation vaudoise n'a pas violé le droit fédéral en retenant que les actes reprochés au recourant formaient une unité et que le délai de plainte de six mois selon les art. 189 al. 2 et 190 al. 2 CP n'avait commencé à courir qu'à partir de la commission du dernier acte. Le grief du recourant est infondé.
2.4 Les différents abus sexuels commis par le recourant sur son épouse constituent des actes analogues et lèsent le même bien juridiquement protégé. Les deux premiers éléments pour admettre une unité sont donc réunis. Il reste à examiner la condition d'un comportement durablement contraire à un devoir permanent de l'auteur. En l'espèce, la communauté conjugale se trouvait régulièrement sous tension en raison des actes de violence du recourant. Celui-ci a placé son épouse dans un état d'anxiété durable, la menaçant en particulier de mort si elle le quittait. Le Tribunal correctionnel a noté que les menaces du recourant avait poussé l'épouse à se taire durant plusieurs semaines et à rester au domicile conjugal. L'épouse s'est en quelque sorte trouvée dans une relation de dépendance et d'oppression. Le recourant a créé cette emprise et l'a prolongée dans le temps. Ce contexte justifie d'apprécier les abus sexuels commis comme une unité. Les actes ne peuvent être qualifiés d'isolés et de dépourvus de lien entre eux. En ce sens, la situation s'apparente à celle du maître d'école qui abuse sur une longue période de ses élèves (<ref-ruling> consid. 2c/cc p. 10). Il s'ensuit que la Cour de cassation vaudoise n'a pas violé le droit fédéral en retenant que les actes reprochés au recourant formaient une unité et que le délai de plainte de six mois selon les art. 189 al. 2 et 190 al. 2 CP n'avait commencé à courir qu'à partir de la commission du dernier acte. Le grief du recourant est infondé.
3. Le recourant se plaint de la peine infligée.
3.1 Les critères en matière de fixation de la peine ont été rappelés à l'arrêt publié aux <ref-ruling>. Il convient de s'y référer.
3.2 Selon le recourant, sa responsabilité diminuée a été ignorée. Le Tribunal correctionnel a fait état au stade de la fixation de la peine de la responsabilité légèrement diminuée du recourant. La Cour de cassation vaudoise a relevé que la légère diminution de responsabilité du recourant impliquait une réduction de peine de l'ordre de 25 % et qu'en l'espèce, une peine de deux ans et huit mois aurait pu être prononcée en cas de pleine responsabilité. Aussi, la légère diminution de responsabilité du recourant a-t-elle été prise en compte. Celui-ci laisse encore entendre tant pour ce qui concerne sa diminution de responsabilité que pour une thérapie entreprise en mars 2002 que la Cour de cassation vaudoise ne pouvait pas substituer son opinion à celle du Tribunal correctionnel. De la sorte, le recourant met en cause la compétence de la Cour de cassation vaudoise et l'application de la procédure cantonale y relative. Un tel grief, qui ne porte pas sur le droit fédéral (cf. art. 269 PPF), est irrecevable.
3.3 Le recourant mentionne qu'il a retrouvé un emploi depuis sa libération provisoire et qu'une sanction ferme ferait obstacle à sa réinsertion.
La détention préventive et l'exécution d'une peine privative de liberté visent des buts distincts (<ref-ruling> consid. 2e p. 173). La mise en liberté provisoire lorsque la détention préventive ne se justifie plus, en l'espèce après cent quarante-huit jours, ne saurait en principe avoir pour conséquence que l'autorité de jugement fixe une peine ne correspondant plus à la culpabilité de l'auteur. Que la peine infligée implique le cas échéant un retour en détention pour l'exécution du solde de la peine après imputation de la détention préventive (<ref-law>) relève de la logique du système.
3.4 Aucun des éléments évoqués par le recourant quant à sa situation personnelle n'a été omis. Savoir quel poids il fallait leur accorder est une question qui dépend du large pouvoir d'appréciation du juge de répression.
Le recourant encourait une peine maximale de quinze ans de réclusion (art. 68 ch. 1 al. 1, 189 al. 1 et 190 al. 1 CP). Il a commis des actes graves de manière répétée. Selon les constatations cantonales, il n'a pas véritablement pris conscience de sa faute. Il bénéficie d'une légère diminution de responsabilité et de l'absence d'antécédents. Au vu des éléments pertinents, la peine de deux ans d'emprisonnement n'a rien d'excessif. Elle ne procède pas d'un abus du pouvoir d'appréciation.
Le recourant encourait une peine maximale de quinze ans de réclusion (art. 68 ch. 1 al. 1, 189 al. 1 et 190 al. 1 CP). Il a commis des actes graves de manière répétée. Selon les constatations cantonales, il n'a pas véritablement pris conscience de sa faute. Il bénéficie d'une légère diminution de responsabilité et de l'absence d'antécédents. Au vu des éléments pertinents, la peine de deux ans d'emprisonnement n'a rien d'excessif. Elle ne procède pas d'un abus du pouvoir d'appréciation.
4. Le pourvoi doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais de la procédure (art. 278 al. 1 PPF).
La cause étant ainsi jugée, la requête d'effet suspensif n'a plus d'objet.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le pourvoi est rejeté dans la mesure où il est recevable.
1. Le pourvoi est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2000 francs est mis à la charge du recourant.
2. Un émolument judiciaire de 2000 francs est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, au Ministère public du canton de Vaud et au Tribunal cantonal vaudois, Cour de cassation pénale.
Lausanne, le 12 mars 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: Le greffier: