Faits : Faits : A. Par jugement du 28 juin 2006, le Tribunal correctionnel du district du Val-de-Travers a notamment condamné X._ à 27 mois de réclusion. Cette autorité statuait à la suite de l'annulation par la Cour de cassation pénale du Tribunal cantonal neuchâtelois d'un premier jugement par lequel le Tribunal correctionnel du district de Neuchâtel avait condamné X._ à la peine de 18 mois de réclusion avec sursis pendant 4 ans pour viol commis le 19 février 2003 sur la personne de la plaignante, A._. Il avait en outre notamment condamné X._ à verser à la plaignante 8'000 fr. à titre d'indemnité pour tort moral ainsi que 1'500 fr. en remboursement de frais médicaux. Saisie de la cause suite à un recours du Ministère public, la Cour de cassation avait estimé que la peine infligée au condamné était arbitrairement clémente. Les faits à l'origine de la condamnation sont en substance les suivants. Au début de l'année 2003, X._ a fait la connaissance, par le biais d'internet, de A._, à laquelle il s'est présenté sous un prénom fictif et qu'il a par la suite rencontrée à deux reprises, essuyant un refus, à l'une de ces occasions, alors qu'il lui faisait des propositions à caractère sexuel. Le soir du 19 février 2003, il l'a invitée chez lui pour partager un repas, avant lequel ils ont consommé un cocktail dans lequel il avait versé à son insu quelques gouttes de GHB dans le but, et avec l'effet, de la rendre incapable de résistance. Alors qu'elle lui avait dit, avant de consommer le cocktail, qu'elle n'entendait pas entretenir de relations sexuelles, X._ a obtenu de A._, qui n'était pas en mesure de s'y opposer, une fellation puis une relation sexuelle complète. Les faits à l'origine de la condamnation sont en substance les suivants. Au début de l'année 2003, X._ a fait la connaissance, par le biais d'internet, de A._, à laquelle il s'est présenté sous un prénom fictif et qu'il a par la suite rencontrée à deux reprises, essuyant un refus, à l'une de ces occasions, alors qu'il lui faisait des propositions à caractère sexuel. Le soir du 19 février 2003, il l'a invitée chez lui pour partager un repas, avant lequel ils ont consommé un cocktail dans lequel il avait versé à son insu quelques gouttes de GHB dans le but, et avec l'effet, de la rendre incapable de résistance. Alors qu'elle lui avait dit, avant de consommer le cocktail, qu'elle n'entendait pas entretenir de relations sexuelles, X._ a obtenu de A._, qui n'était pas en mesure de s'y opposer, une fellation puis une relation sexuelle complète. B. Statuant le 14 août 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours formé par X._ contre ce jugement. Elle a considéré que les premiers juges avaient soigneusement énuméré et pesé les éléments à prendre en compte pour fixer la quotité de la peine, laquelle restait indiscutablement dans la marge d'appréciation dont disposait le tribunal de renvoi, de sorte que, sans pouvoir être qualifiée de clémente, elle n'apparaît pas arbitrairement sévère. B. Statuant le 14 août 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours formé par X._ contre ce jugement. Elle a considéré que les premiers juges avaient soigneusement énuméré et pesé les éléments à prendre en compte pour fixer la quotité de la peine, laquelle restait indiscutablement dans la marge d'appréciation dont disposait le tribunal de renvoi, de sorte que, sans pouvoir être qualifiée de clémente, elle n'apparaît pas arbitrairement sévère. C. X._ forme un pourvoi en nullité contre cet arrêt. Invoquant une violation des art. 63 et 64 CP, il conclut, avec suite de frais, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. Il sollicite en outre l'assistance judiciaire et l'effet suspensif. Celui-ci lui a été refusé par ordonnance du Président de la Cour de cassation pénale du 4 octobre 2006. C. X._ forme un pourvoi en nullité contre cet arrêt. Invoquant une violation des art. 63 et 64 CP, il conclut, avec suite de frais, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. Il sollicite en outre l'assistance judiciaire et l'effet suspensif. Celui-ci lui a été refusé par ordonnance du Président de la Cour de cassation pénale du 4 octobre 2006. D. Se référant aux considérants de son arrêt, l'autorité cantonale a déclaré n'avoir pas d'observations à formuler.