Faits:
A. Par jugement du 22 octobre 2009, le Tribunal de police du district de La Chaux-de-Fonds a acquitté X._, au bénéfice du doute, de l'infraction d'ivresse au volant qui lui était reprochée pour des faits datant du 21 novembre 2008. Il l'a en revanche reconnu coupable d'infractions à la loi fédérale du 19 décembre 1958 sur la circulation routière (LCR; RS 741.01), pour avoir circulé le 9 avril 2009 avec un taux d'alcoolémie minimum de 2,24 g/kg et avoir perdu la maîtrise de sa voiture qui s'était encastrée dans un arbre, ainsi que d'infraction à la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (LArm; RS 514.54), un bâton tactique ayant été découvert dans son véhicule. Le Tribunal de police l'a condamné à une peine de 80 jours-amende à 40 francs le jour, avec sursis et délai d'épreuve de 3 ans, ainsi qu'à une amende de 200 francs.
B. La Cour de cassation pénale du Tribunal cantonal de Neuchâtel a rejeté, dans la mesure de sa recevabilité, le pourvoi dont X._ l'avait saisie par arrêt du 3 décembre 2010.
C. X._ forme un recours en matière pénale devant le Tribunal fédéral, concluant à ce que l'arrêt entrepris soit "cassé".
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le Tribunal fédéral examine librement et d'office la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 438, 497 consid. 3 p. 499).
1.1 Le recourant conclut à ce que l'arrêt entrepris soit cassé. Une telle conclusion n'est, en principe, pas suffisante (cf. <ref-ruling> consid. 1.3 p. 383; spécifiquement pour le recours en matière pénale, arrêt 6B_78/2009 du 22 septembre 2009 consid. 7.2.1). Les motifs du recours permettent cependant de comprendre que l'intéressé voudrait, en réalité, la réforme de cet arrêt dans le sens, d'une part, de son acquittement pur et simple, et non au bénéfice du doute, du chef de l'infraction qui lui était reprochée en relation avec les faits du 21 novembre 2008 et, d'autre part, de son acquittement pour les infractions à la loi sur la circulation routière dont il a été reconnu coupable (mais non pour l'infraction à la loi sur les armes que le recourant ne critique nullement). Cela suffit pour répondre aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF (cf. <ref-ruling> consid. 2 p. 135).
1.2 Selon l'<ref-law>, a qualité pour former un recours en matière pénale la partie qui a un intérêt juridiquement protégé à l'annulation ou à la modification de la décision attaquée. L'admission du recours doit être susceptible de conduire à une décision plus favorable pour le recourant. A défaut, le recours est irrecevable (<ref-ruling> consid. 1b p. 36). Un acquittement ou un non-lieu - quelle que soit sa motivation puisqu'un recours n'est pas ouvert pour se plaindre des seuls considérants d'une décision (<ref-ruling> consid. 2c p. 105; <ref-ruling> consid. 1a) -, ne cause pas de préjudice à l'accusé acquitté, de sorte que toute qualité pour agir doit lui être déniée (cf. <ref-ruling> consid. 2d p. 141; arrêt 6S.121/2007 du 24 juillet 2007 consid. 14). Le recours est ainsi irrecevable en tant que l'intéressé conteste que l'acquittement dont il a bénéficié ait été prononcé au bénéfice du doute.
2. Invoquant l'arbitraire dans l'appréciation des preuves et la constatation des faits ainsi que la présomption d'innocence (art. 32 al. 1 Cst., 6 par. 2 CEDH et 14 par. 2 Pacte ONU II), le recourant fait valoir qu'il n'était pas le conducteur de la voiture au moment de l'accident du 9 avril 2009. Ces griefs, tels qu'ils sont motivés, n'ont pas de portée distincte (cf. <ref-ruling> consid. 2a p. 41).
2.1 Dans le recours en matière pénale, les faits constatés par l'autorité précédente lient le Tribunal fédéral (<ref-law>), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit essentiellement de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62; sur la notion d'arbitraire, v. <ref-ruling> consid. 1.3 p. 4 s.). Le Tribunal fédéral n'examine les moyens fondés sur la violation d'un droit constitutionnel que s'ils ont été invoqués et motivés de manière précise (<ref-law>). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 6 p. 397).
2.1.1 Pour retenir que le recourant était le conducteur de la voiture, le premier juge s'est fondé sur le fait qu'à l'arrivée de la police, immédiatement après l'accident, il était seul à côté du véhicule, qu'il en était le conducteur habituel et qu'il avait donné différentes versions qui n'étaient pas crédibles ou farfelues. En effet, il avait d'abord déclaré avoir été appelé par un inconnu qui lui avait signalé que sa voiture était accidentée et s'être rendu à pied sur les lieux, alors qu'il n'habitait pas à proximité, puis, lorsque la police lui avait fait remarquer que des débris de la vitre de l'automobile se trouvaient dans sa poche, ce qui tendait à démontrer qu'il était dans le véhicule au moment de l'accident, il avait expliqué avoir passé la soirée avec un tiers qui lui avait pris les clés de la voiture et était parti avec celle-ci. Lui-même l'avait accompagné, mais n'avait rien pu faire compte tenu de son état alcoolisé. Enfin, le premier juge a considéré que le fait qu'un témoin avait vu un tiers quitter les lieux de l'accident ne signifiait pas encore que cette personne était le conducteur puisqu'il pouvait avoir plusieurs raisons de vouloir échapper à la police, notamment en raison de son statut de séjour. L'autorité cantonale a considéré que le Tribunal de police n'avait pas arbitrairement apprécié les preuves et établi les faits en retenant que le recourant était le conducteur de la voiture sur la base de ce qui précède.
2.1.2 Le recourant ne discute pas les éléments précités. Il se borne à opposer dans une démarche purement appellatoire sa propre version des faits à celle retenue par l'autorité de jugement, confirmée par l'autorité de recours. Il soutient que son affirmation selon laquelle il n'était pas le conducteur de la voiture au moment de l'accident était crédible au motif qu'un premier témoin avait expliqué avoir vu quelqu'un s'enfuir juste après l'accident, alors qu'il était, pour sa part, debout, du côté passager de la voiture, qu'un second témoin avait déclaré que la personne qu'il désignait comme étant le conducteur de la voiture lui avait dit avoir eu un accident et que les débris de verre provenant de la vitre avant droit du véhicule avaient été trouvés dans la poche gauche de sa veste. Il ne motive en revanche nullement en quoi la Cour de cassation aurait à tort considéré que le raisonnement du premier juge était exempt d'arbitraire ou que les déductions de ce dernier n'étaient pas insoutenables sur la base des éléments pris en compte. Le grief est irrecevable.
3. Le recourant, qui succombe, supporte les frais de justice (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 11 juillet 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Mathys Rieben