Faits:
A. Le 10 juin 2003, vers 16 h. 20, X._, au volant de sa voiture, montait la rue des Primevères, au Locle, alors que Y._ descendait cette même rue avec son véhicule. X._ a constaté que les deux véhicules ne pourraient pas se croiser, la chaussée étant étroite et des voitures stationnées au sud-ouest à gauche de la chaussée, savoir du côté où circulait Y._, sur des places prévues à cet effet. Tout en freinant, il a alors serré sur sa droite, montant ainsi sur le rebord herbeux avant de finir sa course contre un bloc en béton. Après s'être arrêté et avoir échangé quelques propos avec X._, Y._ a quitté les lieux de l'accident pour se rendre en France, où il est domicilié.
B. Par jugement du 19 novembre 2003, le Président du Tribunal de police du district du Locle a condamné X._ à 150 fr. d'amende au motif que la distance de 60 centimètres qu'il avait laissée par rapport au bord droit de la chaussée était trop importante vu les particularités de la route, qui rendent tout croisement difficile, spécialement lorsque, comme en l'espèce, des véhicules sont parqués au sud-est de la rue.
Par le même jugement, Y._ a été condamné à 500 fr. d'amende, le Président du Tribunal ayant considéré qu'il circulait trop vite, soit à une vitesse inadaptée à la configuration des lieux, mais qu'il ne s'était rendu coupable ni d'une perte de maîtrise de son véhicule ni de n'avoir pas circulé suffisamment à droite. Il a en revanche également été sanctionné pour une violation des devoirs en cas d'accident pour avoir quitté les lieux sans attendre l'arrivée de la police.
C. Statuant le 23 août 2004, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours formé par X._ contre ce jugement.
L'autorité cantonale a considéré que ni l'<ref-law> ni l'art. 9 OCR ne sont applicables en l'espèce. La route en question est certes en pente, mais ne saurait toutefois être considérée comme étant à forte déclivité. En outre, les véhicules stationnés sur des places prévues à cet effet ne constituaient pas pour Y._ des obstacles au sens de l'art. 9 OCR. La cour cantonale a en outre admis que la route est suffisamment étroite pour que les automobilistes n'aient pas l'obligation de circuler sur la moitié droite de celle-ci, mais que l'on ne se trouve pas en présence d'une des exceptions prévues à l'art. 7 OCR, selon lequel un conducteur n'est pas tenu à la règle de la circulation à droite sur les routes bombées ou difficiles et dans les tournants à gauche lorsque la visibilité est bonne et que la circulation venant en sens inverse ou de derrière n'est pas entravée, de sorte que X._, dont la voiture se trouvait à 60 cm environ du bord de la chaussée, ne tenait pas suffisamment sa droite.
D. X._ se pourvoit en nullité contre cet arrêt. Il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. A l'appui de ses conclusions, le recourant fait valoir que l'autorité cantonale aurait dû appliquer l'art. 9 al. 1 OCR car les véhicules stationnés, même sur des cases prévues à cet effet, constituent des obstacles au sens de cette disposition, de sorte qu'il était prioritaire par rapport à Y._, sur la voie de circulation duquel se trouvaient les véhicules stationnés.

Le Tribunal fédéral considère en droit:
1. En vertu des <ref-law> et 7 al. 1 OCR, les véhicules doivent circuler le plus près possible du bord droit de la chaussée (voir Schaffhauser, Grundriss des schweizerischen Strassenverkehrsrechts, 2e éd., Berne 2002, vol. I, n° 666; Bussy/Rusconi, Code suisse de la circulation routière, Commentaire, 3e éd., Lausanne 1996, n° 1.3 ad <ref-law>). Un certain nombre d'exceptions à cette obligation sont prévues par l'art. 7 al. 1 OCR, selon lequel le conducteur n'est pas tenu à cette règle sur les routes bombées ou difficiles ainsi que dans les tournants à gauche lorsque la visibilité est bonne et que la circulation venant en sens inverse ou de derrière n'est pas entravée. L'autorité cantonale a constaté que l'on ne se trouve en l'espèce en présence d'aucun élément qui fonde une telle exception, ce que le recourant ne conteste d'ailleurs pas. Il y a donc lieu d'admettre qu'il était tenu de circuler aussi près que possible du bord droit de la chaussée. Conformément à la jurisprudence, le devoir de circuler à droite s'impose de manière plus ou moins stricte suivant les circonstances de la circulation et de la visibilité (<ref-ruling> consid. 2a p. 46 et l'arrêt cité). En outre, l'<ref-law> précise que l'obligation de tenir sa droite s'impose en particulier au conducteur qui circule lentement ou sur un tronçon dépourvu de visibilité.
En l'espèce, il ressort des constations de fait de l'autorité cantonale que le recourant circulait à 60 cm du bord droit de la chaussée. S'agissant d'une route étroite, sur laquelle le recourant roulait lentement compte tenu de la configuration des lieux et notamment de la pente, c'est à juste titre que l'autorité cantonale a qualifié d'excessive la distance de 60 cm laissée par le recourant entre le bord de la chaussée et son véhicule.
2. Le recourant se prévaut de son droit de priorité en invoquant une jurisprudence selon laquelle les véhicules stationnés, même sur des cases prévues à cet effet, constituent des obstacles au sens de l'art. 9 OCR (<ref-ruling>).
L'autorité cantonale a certes méconnu cet arrêt en admettant que les véhicules stationnés sur la partie droite de la chaussée qu'il empruntait ne constituaient pas pour Y._ un obstacle au sens de l'art. 9 OCR selon lequel le conducteur accordera la priorité à la circulation venant en sens inverse si un obstacle qui rendrait le croisement difficile se trouve sur la moitié de la chaussée qu'il emprunte. Cette question est toutefois dénuée de pertinence. En effet, d'une part le bénéficiaire de la priorité n'est en rien dispensé du devoir de respecter les règles de la circulation et en particulier de l'obligation de tenir sa droite (<ref-ruling> consid. 1.2 p. 47) et d'autre part il n'y a pas de compensation des fautes en matière pénale (<ref-ruling> consid. 2a). Comme, par ailleurs, le pourvoi en nullité n'est pas ouvert pour se plaindre des seuls considérants de la décision attaquée et qu'il ne pourrait être admis simplement pour en améliorer ou compléter la motivation, le recours étant alors dénué d'un intérêt juridique et actuel (<ref-ruling> consid. 1a p. 36; <ref-ruling> consid. 1a p. 95), le pourvoi doit être rejeté.
3. Vu l'issue de la procédure, les frais de la cause doivent être mis à la charge du recourant qui succombe (art. 278 al. 1 PPF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le pourvoi est rejeté.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie à la mandataire du recourant, à la Cour de cassation pénale du Tribunal cantonal et au Ministère public du canton de Neuchâtel.
Lausanne, le 26 novembre 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: