Faits: Faits: A. Par jugement du 8 février 2006, le Tribunal correctionnel du Val-de-Ruz a condamné X._ à une peine de deux ans et demi de réclusion pour viol commis au préjudice de A._. Il a également révoqué deux sursis dont étaient assorties des peines prononcées le 28 novembre 2001 par le Tribunal correctionnel du district de Neuchâtel pour la première et le 8 avril 2003 par le Tribunal de police du district de La Chaux-de-Fonds pour la seconde. Le Tribunal correctionnel du Val-de-Ruz statuait à la suite de l'annulation par la Cour de cassation pénale du canton de Neuchâtel d'un premier jugement par lequel le Tribunal correctionnel de La Chaux-de-Fonds avait, au bénéfice du doute, libéré X._ de la prévention de viol. Les faits à l'origine de cette condamnation sont en substance les suivants. Le 10 novembre 2003 à midi, A._, alors âgée d'un peu plus de 18 ans, s'est rendue chez X._, dont elle avait fait la connaissance plus de deux ans auparavant. Après avoir mangé ensemble et gravé des disques sur l'ordinateur, X._ a remis des produits de beauté à A._ et a cherché à l'embrasser, ce qu'elle a refusé. Ultérieurement, X._ lui a proposé d'apprendre une danse haïtienne, à la suite de quoi il n'a plus voulu la lâcher bien qu'elle le repoussât. Il a fini par l'emmener dans la chambre à coucher où il l'a partiellement déshabillée, l'a touchée et embrassée à plusieurs endroits, notamment sur le sexe, avant de la pénétrer alors qu'il l'avait couchée sur le ventre et lui tenait les mains. Comme A._ s'était mise à crier et à pleurer, il lui a dit de se taire et a mis fin à ses agissements. Il n'avait pas mis de préservatif et n'a pas éjaculé. Les faits à l'origine de cette condamnation sont en substance les suivants. Le 10 novembre 2003 à midi, A._, alors âgée d'un peu plus de 18 ans, s'est rendue chez X._, dont elle avait fait la connaissance plus de deux ans auparavant. Après avoir mangé ensemble et gravé des disques sur l'ordinateur, X._ a remis des produits de beauté à A._ et a cherché à l'embrasser, ce qu'elle a refusé. Ultérieurement, X._ lui a proposé d'apprendre une danse haïtienne, à la suite de quoi il n'a plus voulu la lâcher bien qu'elle le repoussât. Il a fini par l'emmener dans la chambre à coucher où il l'a partiellement déshabillée, l'a touchée et embrassée à plusieurs endroits, notamment sur le sexe, avant de la pénétrer alors qu'il l'avait couchée sur le ventre et lui tenait les mains. Comme A._ s'était mise à crier et à pleurer, il lui a dit de se taire et a mis fin à ses agissements. Il n'avait pas mis de préservatif et n'a pas éjaculé. B. Le 11 avril 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours formé par X._ contre ce jugement. Elle a estimé que même si la peine qui lui avait été infligée apparaissait relativement sévère les juges de première instance n'avaient pas abusé de leur pouvoir d'appréciation. B. Le 11 avril 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours formé par X._ contre ce jugement. Elle a estimé que même si la peine qui lui avait été infligée apparaissait relativement sévère les juges de première instance n'avaient pas abusé de leur pouvoir d'appréciation. C. X._ se pourvoit en nullité contre cet arrêt. Invoquant une violation de l'art. 63 CP, il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. C. X._ se pourvoit en nullité contre cet arrêt. Invoquant une violation de l'art. 63 CP, il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. D. L'autorité cantonale s'est référée aux considérants de son arrêt et n'a pas formulé d'observations.