Faits:
Faits:
A. Par jugement du 8 février 2006, le Tribunal correctionnel du Val-de-Ruz a condamné X._ à une peine de deux ans et demi de réclusion pour viol commis au préjudice de A._. Il a également révoqué deux sursis dont étaient assorties des peines prononcées le 28 novembre 2001 par le Tribunal correctionnel du district de Neuchâtel pour la première et le 8 avril 2003 par le Tribunal de police du district de La Chaux-de-Fonds pour la seconde. Le Tribunal correctionnel du Val-de-Ruz statuait à la suite de l'annulation par la Cour de cassation pénale du canton de Neuchâtel d'un premier jugement par lequel le Tribunal correctionnel de La Chaux-de-Fonds avait, au bénéfice du doute, libéré X._ de la prévention de viol.
Les faits à l'origine de cette condamnation sont en substance les suivants. Le 10 novembre 2003 à midi, A._, alors âgée d'un peu plus de 18 ans, s'est rendue chez X._, dont elle avait fait la connaissance plus de deux ans auparavant. Après avoir mangé ensemble et gravé des disques sur l'ordinateur, X._ a remis des produits de beauté à A._ et a cherché à l'embrasser, ce qu'elle a refusé. Ultérieurement, X._ lui a proposé d'apprendre une danse haïtienne, à la suite de quoi il n'a plus voulu la lâcher bien qu'elle le repoussât. Il a fini par l'emmener dans la chambre à coucher où il l'a partiellement déshabillée, l'a touchée et embrassée à plusieurs endroits, notamment sur le sexe, avant de la pénétrer alors qu'il l'avait couchée sur le ventre et lui tenait les mains. Comme A._ s'était mise à crier et à pleurer, il lui a dit de se taire et a mis fin à ses agissements. Il n'avait pas mis de préservatif et n'a pas éjaculé.
Les faits à l'origine de cette condamnation sont en substance les suivants. Le 10 novembre 2003 à midi, A._, alors âgée d'un peu plus de 18 ans, s'est rendue chez X._, dont elle avait fait la connaissance plus de deux ans auparavant. Après avoir mangé ensemble et gravé des disques sur l'ordinateur, X._ a remis des produits de beauté à A._ et a cherché à l'embrasser, ce qu'elle a refusé. Ultérieurement, X._ lui a proposé d'apprendre une danse haïtienne, à la suite de quoi il n'a plus voulu la lâcher bien qu'elle le repoussât. Il a fini par l'emmener dans la chambre à coucher où il l'a partiellement déshabillée, l'a touchée et embrassée à plusieurs endroits, notamment sur le sexe, avant de la pénétrer alors qu'il l'avait couchée sur le ventre et lui tenait les mains. Comme A._ s'était mise à crier et à pleurer, il lui a dit de se taire et a mis fin à ses agissements. Il n'avait pas mis de préservatif et n'a pas éjaculé.
B. Le 11 avril 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours formé par X._ contre ce jugement. Elle a estimé que même si la peine qui lui avait été infligée apparaissait relativement sévère les juges de première instance n'avaient pas abusé de leur pouvoir d'appréciation.
B. Le 11 avril 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours formé par X._ contre ce jugement. Elle a estimé que même si la peine qui lui avait été infligée apparaissait relativement sévère les juges de première instance n'avaient pas abusé de leur pouvoir d'appréciation.
C. X._ se pourvoit en nullité contre cet arrêt. Invoquant une violation de l'<ref-law>, il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau.
C. X._ se pourvoit en nullité contre cet arrêt. Invoquant une violation de l'<ref-law>, il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau.
D. L'autorité cantonale s'est référée aux considérants de son arrêt et n'a pas formulé d'observations.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le pourvoi en nullité à la Cour de cassation pénale du Tribunal fédéral, qui revêt un caractère purement cassatoire (art. 277ter al. 1 PPF), ne peut être formé que pour violation du droit fédéral, à l'exception de la violation directe d'un droit de rang constitutionnel (art. 269 PPF). La Cour de cassation n'est pas liée par les motifs invoqués, mais elle ne peut aller au-delà des conclusions du recourant (art. 277bis PPF). Les conclusions devant être interprétées à la lumière de leur motivation (<ref-ruling> consid. 3 p. 103; <ref-ruling> consid. 1 p. 66 et les arrêts cités), le recourant a clairement circonscrit à la quotité de la peine infligée la question litigieuse que le Tribunal fédéral peut examiner.
Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Le raisonnement juridique doit donc être mené sur la base des faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter sous peine d'irrecevabilité (ATF <ref-ruling> consid. 1 p. 66 s.).
Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Le raisonnement juridique doit donc être mené sur la base des faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter sous peine d'irrecevabilité (ATF <ref-ruling> consid. 1 p. 66 s.).
2. Le recourant invoque une violation de l'<ref-law>.
2.1 Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Un pourvoi en nullité portant sur la quotité de la peine ne peut donc être admis que si la sanction a été fixée en dehors du cadre légal, si elle est fondée sur des critères étrangers à l'<ref-law>, si les éléments d'appréciation prévus par cette disposition n'ont pas été pris en compte ou enfin si la peine apparaît exagérément sévère ou clémente au point que l'on doive parler d'un abus du pouvoir d'appréciation (<ref-ruling> consid. 6.1 p. 20 s. et les arrêts cités).
Les éléments pertinents pour la fixation de la peine ont été exposés de manière détaillée dans les <ref-ruling> consid. 1 et 116 IV 288 consid. 2a et rappelés récemment dans l'<ref-ruling> consid. 6.1, auxquels on peut donc se référer.
2.2 Dans la mesure où le recourant se plaint de l'appréciation faite par l'autorité cantonale des conséquences qu'a eues l'infraction pour la victime, remettant en question l'appréciation des témoignages de la mère de celle-ci, de son ami et de son frère retenus en instance cantonale ou lorsqu'il conteste que la thérapie du Dr Pauchard ait été suivie par la victime à raison des faits pour lesquels il est condamné, sa critique revient à rediscuter l'appréciation des preuves et est donc irrecevable.
Il en va de même lorsque le recourant reproche aux autorités cantonales de ne pas avoir tenu compte de la tentation dont il aurait été victime et du fait qu'au vu du comportement pour le moins équivoque de la victime, la gravité de sa faute serait moindre. Il ressort en effet des faits constatés, desquels le recourant n'est pas admis à s'écarter, qu'il n'est pas établi que la victime aurait eu envers le recourant une attitude équivoque pouvant être comprise comme une invitation à entretenir une relation sexuelle. Il n'a pas non plus été établi que le recourant aurait entretenu précédemment une relation sexuelle avec la victime. Dès lors en invoquant le comportement pour le moins équivoque de la victime ainsi que le fait qu'il est toujours convaincu qu'elle était consentante ou que les protagonistes avaient déjà eu des relations sexuelles ou encore qu'il n'aurait jamais pris le risque d'abuser de sa victime sans une invitation claire de cette dernière alors que d'autres les savaient ensemble et qu'elle devait rejoindre son ami à 17 heures, sa critique revient à remettre en question les faits constatés et est donc irrecevable.
2.3 Le recourant voit une violation de l'<ref-law> dans le fait que les juges ont retenu comme facteur aggravant son absence de repentir, alors que la présomption d'innocence implique le droit pour tout accusé de se taire ou de fournir des preuves uniquement à sa décharge. Le recourant soutient qu'ayant toujours clamé son innocence, il n'avait pas de regrets à formuler.
Dans le considérant qu'elle consacre à l'examen de la question de savoir si les premiers juges avaient abusé de leur pouvoir d'appréciation en fixant une peine excessive, la cour cantonale passe en revue les éléments pris en considération par le tribunal correctionnel et parvient à la conclusion que tel n'est pas le cas. Dans ce contexte, elle mentionne que les premiers juges ont relevé, d'une manière qui échappe à toute critique, la présence d'autres circonstances défavorables au recourant, citant notamment le fait que sa responsabilité pénale est entière et qu'il ne formule pas de regrets ni ne reconnaît sa responsabilité pour les actes commis. Cette formulation est malheureuse dans la mesure où elle peut donner à penser que ces circonstances ont été considérées comme aggravantes. Toutefois, il apparaît que ces éléments ont simplement été pris en compte, parmi d'autres, par les juges de première instance pour apprécier la faute de l'auteur, appréciation qui a été confirmée par l'autorité cantonale. Il est évident que dans ce contexte il n'était pas contraire au droit fédéral de tenir compte, dans le cadre de l'appréciation du comportement de l'auteur après l'acte et au cours de la procédure, qui constitue l'un des points déterminants pour fixer la peine (voir <ref-ruling> consid. 6.1 p. 20), du fait que celui-ci n'avait pas formulé de regrets ni pris conscience de sa responsabilité pour les actes qui lui sont reprochés. Par ailleurs la mention de cette circonstance dans la continuation immédiate de la remarque que la responsabilité pénale de l'auteur était entière montre bien qu'il s'agit d'éléments à raison desquels une réduction de la peine n'était pas envisageable plutôt que de circonstances véritablement aggravantes.
2.4 Le recourant invoque encore différents éléments dont la cour cantonale aurait selon lui tenu compte à tort ou au contraire dont elle n'aurait pas tenu compte alors qu'elle aurait dû le faire.
En retenant en défaveur du recourant ses antécédents pénaux, dont l'importance n'était selon elle pas à sous-estimer, même s'il n'avait pas précédemment commis d'infractions contre l'intégrité sexuelle, la cour cantonale n'a pas violé l'<ref-law>. Quant au fait que le recourant se serait bien comporté depuis les infractions qui lui sont reprochées et se serait sorti de lui-même du milieu de la drogue, ils ne ressortent pas des constatations de l'arrêt attaqué. Les renseignements obtenus sur le compte du recourant ne sont pas favorables et le fait qu'il n'ait pas commis de nouvelles infractions n'est pas à ce point méritoire que les juges cantonaux auraient dû en tenir compte dans la mesure de la peine.
2.5 Le recourant reproche aux juges cantonaux d'avoir violé le principe de l'égalité de traitement. Ce grief est infondé. En effet, comme la jurisprudence a déjà eu l'occasion de le souligner, eu égard aux nombreux paramètres qui interviennent dans la fixation de la peine, une comparaison avec des affaires concernant d'autres accusés et des faits différents est d'emblée délicate et généralement stérile dès lors qu'il existe presque toujours des différences entre les circonstances, objectives et subjectives, que le juge doit prendre en considération dans chacun des cas (<ref-ruling> consid. 3a p. 144; <ref-ruling>). Il ne suffit notamment pas que le recourant puisse citer l'un ou l'autre cas où une peine particulièrement clémente a été fixée pour prétendre à un droit à l'égalité de traitement (<ref-ruling> consid. 3a p. 144). Il faut au reste rappeler que le principe de la légalité prime sur celui de l'égalité (<ref-ruling> consid. 2c p. 47). Au vu de cette jurisprudence, c'est en vain que le recourant affirme que des peines inférieures ou égales auraient été prononcées dans des causes où les faits reprochés, qui ne sont au demeurant pas seuls déterminants pour fixer la peine, étaient semblables ou plus graves que ceux dont il doit répondre.
2.6 La peine a été fixée dans le cadre légal, en suivant les critères posés par l'<ref-law> et sans se laisser guider par des considérations étrangères à cette disposition. Il reste à examiner si elle est exagérément sévère au point de constituer un abus du pouvoir d'appréciation.
Le recourant a profité des rapports de confiance qu'il entretenait avec sa victime qui n'était âgée que d'un peu plus de 18 ans au moment des faits. Il a usé de la force physique en emmenant la plaignante dans la chambre à coucher, en lui enlevant son pantalon et son slip, en lui touchant et en lui embrassant le sexe, la retournant de force sur le ventre et lui immobilisant les mains avant de la pénétrer depuis derrière, sans préservatif, toujours en lui tenant les mains. Il n'a toutefois pas éjaculé et s'est retiré, sa victime s'étant mise à crier et à pleurer. Sa culpabilité est grave. L'acte sexuel imposé a eu des conséquences très pénibles pour la victime qui a dû notamment consulter un médecin et suivre une thérapie de soutien. Le recourant n'a pas exprimé de remords. Sa responsabilité pénale est entière. Sur le plan personnel, le recourant, qui est célibataire, entretient une relation stable avec une amie et a retrouvé une activité professionnelle rémunérée à raison de 20 heures par semaine dès février 2006. Le rapport de renseignements généraux sur le recourant n'est pas favorable. Celui-ci a été condamné en 2001 à une peine de 8 mois d'emprisonnement avec sursis pour infractions à la LStup et en 2003 à une peine de 30 jours d'emprisonnement avec sursis pour menaces, infractions à la LStup et aux règles de la circulation routière. Compte tenu du concours d'infraction, le recourant encourait une peine maximale de 15 ans de réclusion. Dès lors, quand bien même la peine de deux ans et demi de réclusion prononcée paraît sévère, elle ne peut être qualifiée d'excessive au point qu'elle procéderait d'un abus du pouvoir d'appréciation.
Quant à l'argument du recourant faisant grief aux juges cantonaux d'avoir prononcé une peine faisant obstacle à son intégration professionnelle, contrairement aux principes développés dans l'<ref-ruling>, il ne peut qu'être rejeté. Ainsi que l'a rappelé l'autorité cantonale, si lors de la fixation de la peine, les effets de celle-ci sur la vie professionnelle de l'auteur doivent être pris en considération (consid. 2c), encore faut-il cependant que la peine demeure proportionnée à la faute à sanctionner. Or, en l'espèce, les juges cantonaux ont admis que les faits étaient graves et devaient être sanctionnés comme tels. Au demeurant, le préjudice causé au recourant doit être relativisé, étant précisé que l'emploi qu'il avait trouvé n'avait débuté qu'une semaine avant le jugement et ne portait que sur une durée de 20 heures par semaine, que l'arrestation immédiate du recourant a été prononcée le 8 février 2006 et que la modification de la mesure de la peine n'aurait pas d'effet sur la vie professionnelle actuelle du recourant qui est en détention depuis cette date. La peine prononcée n'étant pas proche de 18 mois, il est de plus inutile d'examiner si les conditions du sursis sont réalisées et si, selon la jurisprudence, cette peine n'irait pas à l'encontre du but premier du droit pénal, qui est de prévenir la commission d'infractions.
Quant à l'argument du recourant faisant grief aux juges cantonaux d'avoir prononcé une peine faisant obstacle à son intégration professionnelle, contrairement aux principes développés dans l'<ref-ruling>, il ne peut qu'être rejeté. Ainsi que l'a rappelé l'autorité cantonale, si lors de la fixation de la peine, les effets de celle-ci sur la vie professionnelle de l'auteur doivent être pris en considération (consid. 2c), encore faut-il cependant que la peine demeure proportionnée à la faute à sanctionner. Or, en l'espèce, les juges cantonaux ont admis que les faits étaient graves et devaient être sanctionnés comme tels. Au demeurant, le préjudice causé au recourant doit être relativisé, étant précisé que l'emploi qu'il avait trouvé n'avait débuté qu'une semaine avant le jugement et ne portait que sur une durée de 20 heures par semaine, que l'arrestation immédiate du recourant a été prononcée le 8 février 2006 et que la modification de la mesure de la peine n'aurait pas d'effet sur la vie professionnelle actuelle du recourant qui est en détention depuis cette date. La peine prononcée n'étant pas proche de 18 mois, il est de plus inutile d'examiner si les conditions du sursis sont réalisées et si, selon la jurisprudence, cette peine n'irait pas à l'encontre du but premier du droit pénal, qui est de prévenir la commission d'infractions.
3. Au vu de ce qui précède, le pourvoi ne peut qu'être rejeté dans la mesure où il est recevable. Les frais judiciaires doivent être mis à la charge du recourant qui succombe. Il n'y a pas lieu d'allouer d'indemnité à la victime qui n'est pas intervenue dans la procédure devant le Tribunal fédéral.
3. Au vu de ce qui précède, le pourvoi ne peut qu'être rejeté dans la mesure où il est recevable. Les frais judiciaires doivent être mis à la charge du recourant qui succombe. Il n'y a pas lieu d'allouer d'indemnité à la victime qui n'est pas intervenue dans la procédure devant le Tribunal fédéral.
4.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le pourvoi est rejeté dans la mesure où il est recevable.
1. Le pourvoi est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 2000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, à la Cour de cassation pénale du Tribunal cantonal et au Ministère public du canton de Vaud.
Lausanne, le 20 novembre 2006
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le Juge présidant: La greffière: