Faits:
A. Le 9 juin 2009, le Ministère public du canton de Neuchâtel a rendu une ordonnance pénale condamnant X._ à vingt jours de privation de liberté ferme, au motif qu'il n'avait pas versé complètement, d'août à septembre 2008 et de février à mars 2009, les mensualités saisies. L'ordonnance mentionnait que le prévenu pouvait, dans les vingt jours suivant sa notification, faire opposition par une déclaration écrite adressée au Ministère public manifestant clairement son intention de faire opposition et d'être jugé par un tribunal et que, à défaut d'opposition valable, l'ordonnance deviendrait exécutoire. Cette décision a été remise à la mère de X._ le 27 juin 2009.
Par pli recommandé du 14 juillet 2009, posté le 17 juillet suivant, l'intéressé, non assisté, a adressé au Ministère public un écrit intitulé "Lettre d'opposition à votre lettre du 27 juin 2009". X._ y indiquait, d'une part, avoir cessé son activité d'indépendant depuis le 1er décembre 2008 et être depuis salarié et, d'autre part, subir un prélèvement de salaire de 700 fr. par mois depuis avril 2009. Il concluait son courrier par la phrase suivante: "Dès lors, je vous prierai de reconsidérer votre jugement".
Par courrier du 23 juillet 2009, le Ministère public a indiqué à X._ que son courrier du 14 juillet 2009 n'était pas suffisamment clair quant à ses intentions pour être considéré comme une opposition valable. Il lui a dès lors imparti un délai de dix jours pour préciser s'il souhaitait que son envoi soit considéré comme une opposition formelle et indiqué que, à défaut de réponse, l'ordonnance pénale serait définitive et exécutoire.
X._ n'a écrit au Ministère public que le 27 février 2010, ce afin d'avoir des nouvelles de son "opposition de condamnation de juillet 2009". Le 10 mai 2010, par une lettre adressée au Ministère public portant l'intitulé "opposition de juillet 2009", il a réitéré son désaccord avec le verdict.
Par décision du 18 mai 2010, le Ministère public, retenant que ce dernier courrier constituait une opposition, a déclaré celle-ci tardive et dès lors irrecevable.
B. Par arrêt du 10 août 2010, la Chambre d'accusation du canton de Neuchâtel a rejeté le recours de X._. Selon cette autorité, le Ministère public était en droit de considérer que le courrier du 14 juillet 2009, bien qu'intitulé "opposition" et émanant d'un justiciable non assisté, n'indiquait pas de manière suffisante la volonté de cette personne d'être jugée par un tribunal et ne constituait dès lors pas une opposition valable. Elle a ensuite estimé que les conditions permettant la restitution du délai d'opposition n'étaient pas remplies.
C. Par écriture du 14 septembre 2010, X._ a formé un recours en matière pénale.
Le Ministère public a conclu au rejet du recours. L'autorité intimée n'a formulé aucune observation.
Par ordonnance incidente du 28 octobre 2010, le Président de la Cour de céans a confirmé l'effet suspensif du recours.

Considérant en droit:
1. Dans un premier grief, le recourant, invoquant le code de procédure pénale neuchâtelois, reproche aux instances cantonales d'avoir fait preuve d'arbitraire en ne considérant pas le courrier du 14 juillet 2009 comme une opposition valable. On comprend qu'il se plaint d'une application arbitraire des art. 13 ss du Code de procédure pénale neuchâtelois du 19 avril 1945, en vigueur jusqu'au 31 décembre 2010 (aCPP/NE; RSN 322.0).
1.1 Exception faite des griefs mentionnés à l'art. 95 let. c et d LTF, la violation du droit cantonal ne constitue pas un motif de recours. Le recourant peut donc uniquement se plaindre de ce que la violation du droit cantonal par l'autorité précédente consacrerait simultanément une violation du droit fédéral au sens de l'art. 95 let. a LTF, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.4 p. 249 et les arrêts cités).
Appelé à revoir l'application ou l'interprétation d'une norme cantonale sous cet angle, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (cf. <ref-ruling> consid. 2.2.2 p. 318 s; <ref-ruling> consid. 1.3 p. 4 et les références citées).
1.2 Jusqu'au 31 décembre 2010, l'art. 11 aCPP/NE permettait au Ministère public de rendre une ordonnance pénale dans plusieurs cas. Cette décision devait indiquer les voies et délai d'opposition, en précisant que l'ordonnance devenait exécutoire à défaut d'opposition (art. 12 al. 2 aCPP/NE). Dans les vingt jours à compter de la signification, les parties pouvaient faire opposition par une déclaration écrite adressée au Ministère public (art. 13 al. 1 aCPP/NE). L'ordonnance frappée d'une opposition recevable valait ordonnance de renvoi devant le Tribunal de police (art. 13 al. 2 aCPP/NE). L'ancien CPP/NE ne posait pas d'autre condition de recevabilité de l'opposition, en particulier l'existence d'une motivation quelconque ou l'indication de l'autorité appelée à réexaminer la cause.
1.3 L'ordonnance de condamnation constitue une proposition de jugement faite à l'accusé. Sa portée est étroitement circonscrite par la loi. Rendue à la suite d'une procédure simplifiée, elle ne déploie ses effets juridiques qu'en cas d'acceptation manifestée par une absence d'opposition. Si l'accusé refuse la proposition, il lui suffit de former opposition pour ouvrir la procédure ordinaire de jugement. La garantie que représente pour le prévenu le droit d'opposition à l'ordonnance pénale respecte l'égalité entre l'accusation et la défense puisque la simple opposition à l'ordonnance de condamnation met à néant celle-ci. Elle donne en outre à l'intéressé l'assurance que sa cause sera examinée par un tribunal, doté de la plénitude de juridiction, qui lui offrira les garanties d'indépendance et d'impartialité requises par les art. 29a et 30 al. 1 Cst. et 6 par. 1 CEDH (cf. <ref-ruling> consid. 2, p. 78; également arrêt 6P.51/2004 du 18 juin 2004 consid. 2.3 et les références citées). Ces caractéristiques valent en procédure pénale neuchâteloise, dans sa teneur au 31 décembre 2010.
1.4 En l'espèce, le courrier du 14 juillet 2009 a été adressé au Ministère public, soit l'autorité désignée par l'art. 13 aCPP/NE, dans les vingt jours suivant la réception de l'ordonnance pénale, soit dans le délai d'opposition fixé par cette disposition. Le recourant, non seulement dans le texte même du courrier mais également dans son intitulé, a manifesté son opposition à l'ordonnance pénale du 9 juin. On ne voit en effet pas que l'intitulé "Lettre d'opposition à votre lettre du 27 juin 2009" puisse être interprété autrement que comme une opposition au sens de l'art. 13 aCPP/NE. De même, la demande faite par le recourant au Ministère public de "reconsidérer" son "jugement", montre bien que le recourant ne s'en satisfait pas. Il apparaît ainsi insoutenable de ne pas considérer une telle lettre, qui plus est venant d'une personne non assistée, comme une opposition au sens de l'art. 13 aCPP/NE.
1.5 Contrairement à ce qu'indique le Ministère public au verso de ses ordonnances pénales et dans son courrier du 27 juillet 2009 au recourant, l'art. 13 aCPP/NE ne subordonne pas la validité d'une opposition à la condition que son auteur, en plus de son désaccord avec la décision, "manifeste clairement sa volonté d'être jugé par le tribunal". Conduisant à restreindre l'accès à la justice - voulu simple par le législateur cantonal et par la jurisprudence fédérale -, une telle exigence n'est pas acceptable.
Cette condition de recevabilité supplémentaire apparaît en outre inadmissible pour les motifs suivants. Tout d'abord elle implique que l'auteur de l'opposition comprenne que le Ministère public n'est pas un juge. En effet, s'il ne le comprend pas, il est logique qu'il ne demande pas à être jugé par un tribunal. Or aucun motif objectif ne justifie de conditionner le droit d'un justiciable d'accéder à la justice à des connaissances aussi subtiles du système d'organisation judiciaire. Ensuite, selon un principe largement reconnu par la jurisprudence (cf. <ref-ruling> consid. 2 p. 10; arrêt 9C_885/2009 du 1er février 2010 consid. 4.1) et consacré auparavant par l'art. 83 aCPP/NE et désormais par l'art. 91 al. 4 CPP, le délai est réputé observé lorsqu'une partie s'adresse en temps utile à une autorité (suisse) non compétente. Cette règle interdit ici de considérer l'opposition comme non valable du seul fait que l'autorité appelée à en connaître a été désignée incorrectement par son auteur. Enfin, l'exigence posée par le Ministère public conduit à un résultat aberrant: la personne qui s'oppose expressément à une ordonnance pénale et qui demande au Ministère public de reconsidérer sa décision, est considérée, sauf à indiquer expressément vouloir être jugée par un tribunal, comme ayant accepté la décision. En cas de doute sur les intentions de l'auteur d'un courrier intitulé "lettre d'opposition", le Ministère public pouvait certes lui impartir un délai pour préciser ses intentions, ce afin de ne pas renvoyer une personne devant un tribunal alors qu'elle ne le voudrait en réalité pas. Toutefois, en l'absence de réponse dans ce délai, la nature de l'ordonnance pénale voulant qu'une telle décision ne puisse déployer d'effets juridiques contraignants si la personne visée s'y oppose, imposait au Ministère public de qualifier la missive, malgré l'indication incorrecte de l'autorité destinée à réexaminer la cause, d'opposition au sens de l'art. 13 aCPP/NE et de renvoyer la cause au Tribunal de police.
1.6 Au vu de ce qui précède, les autorités cantonales ont violé l'art. 9 Cst. en ne qualifiant pas le courrier du 14 juillet 2009 d'opposition au sens de l'art. 13 aCPP/NE. Le fait que le recourant n'a pas répondu au courrier du 23 juillet 2009 du Ministère public est dès lors sans portée. L'arrêt entrepris doit par conséquent être annulé et la cause renvoyée à l'autorité intimée afin qu'elle rende une nouvelle décision constatant la validité de l'opposition formulée le 14 juillet 2009. La cause devra ensuite être renvoyée au Ministère public pour qu'il procède conformément aux art. 355 et 356 CPP, désormais applicables (art. 453 al. 2 CPP, par renvoi de l'art. 455 CPP; HANSPETER USTER, in: Basler Kommentar StPO, Bâle 2010, n. 2 ad art. 455).
2. Il n'y a pas lieu d'examiner les autres griefs soulevés par le recourant dans la mesure où le sort du recours est scellé par le considérant précédent.
3. Le recours doit être admis. Il n'est pas perçu de frais judiciaires (art. 66 al. 4 LTF). Le recourant, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens qui lui seront versés par le canton de Neuchâtel (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt attaqué est annulé et la cause renvoyée à la Chambre d'accusation du canton de Neuchâtel pour nouvelle décision dans le sens des considérants.
2. Il n'est pas perçu de frais.
3. Le canton de Neuchâtel versera au recourant une indemnité de dépens de 3'000 fr.
4. Le présent arrêt est communiqué aux parties et à la Chambre d'accusation du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 14 avril 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Cherpillod