Faits: A. Le 10 juin 2003, vers 16 h. 20, X._, au volant de sa voiture, montait la rue des Primevères, au Locle, alors que Y._ descendait cette même rue avec son véhicule. X._ a constaté que les deux véhicules ne pourraient pas se croiser, la chaussée étant étroite et des voitures stationnées au sud-ouest à gauche de la chaussée, savoir du côté où circulait Y._, sur des places prévues à cet effet. Tout en freinant, il a alors serré sur sa droite, montant ainsi sur le rebord herbeux avant de finir sa course contre un bloc en béton. Après s'être arrêté et avoir échangé quelques propos avec X._, Y._ a quitté les lieux de l'accident pour se rendre en France, où il est domicilié. B. Par jugement du 19 novembre 2003, le Président du Tribunal de police du district du Locle a condamné X._ à 150 fr. d'amende au motif que la distance de 60 centimètres qu'il avait laissée par rapport au bord droit de la chaussée était trop importante vu les particularités de la route, qui rendent tout croisement difficile, spécialement lorsque, comme en l'espèce, des véhicules sont parqués au sud-est de la rue. Par le même jugement, Y._ a été condamné à 500 fr. d'amende, le Président du Tribunal ayant considéré qu'il circulait trop vite, soit à une vitesse inadaptée à la configuration des lieux, mais qu'il ne s'était rendu coupable ni d'une perte de maîtrise de son véhicule ni de n'avoir pas circulé suffisamment à droite. Il a en revanche également été sanctionné pour une violation des devoirs en cas d'accident pour avoir quitté les lieux sans attendre l'arrivée de la police. C. Statuant le 23 août 2004, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours formé par X._ contre ce jugement. L'autorité cantonale a considéré que ni l'art. 45 LCR ni l'art. 9 OCR ne sont applicables en l'espèce. La route en question est certes en pente, mais ne saurait toutefois être considérée comme étant à forte déclivité. En outre, les véhicules stationnés sur des places prévues à cet effet ne constituaient pas pour Y._ des obstacles au sens de l'art. 9 OCR. La cour cantonale a en outre admis que la route est suffisamment étroite pour que les automobilistes n'aient pas l'obligation de circuler sur la moitié droite de celle-ci, mais que l'on ne se trouve pas en présence d'une des exceptions prévues à l'art. 7 OCR, selon lequel un conducteur n'est pas tenu à la règle de la circulation à droite sur les routes bombées ou difficiles et dans les tournants à gauche lorsque la visibilité est bonne et que la circulation venant en sens inverse ou de derrière n'est pas entravée, de sorte que X._, dont la voiture se trouvait à 60 cm environ du bord de la chaussée, ne tenait pas suffisamment sa droite. D. X._ se pourvoit en nullité contre cet arrêt. Il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. A l'appui de ses conclusions, le recourant fait valoir que l'autorité cantonale aurait dû appliquer l'art. 9 al. 1 OCR car les véhicules stationnés, même sur des cases prévues à cet effet, constituent des obstacles au sens de cette disposition, de sorte qu'il était prioritaire par rapport à Y._, sur la voie de circulation duquel se trouvaient les véhicules stationnés.