Faits:
A. Le 11 juin 2008 à 10h25, un appareil radar automatique a constaté que le véhicule immatriculé xxx roulait à 52 km/h, marge d'erreur déduite, sur un tronçon limité à 50 km/h à La Chaux-de-Fonds. L'amende d'ordre de 40 fr. n'a pas été payée dans le délai. Le 13 octobre 2008, un mandat de répression a été adressé à X._ pour les 40 fr. d'amende auxquels s'ajoutaient 60 fr. de frais. Par lettre recommandée du 15 octobre 2008, adressée au Bureau des créances judiciaires, l'intéressé a indiqué s'opposer à l'ajout de frais à une amende d'ordre et a demandé expressément à être jugé par un tribunal.
Par jugement du 20 mai 2009, le Tribunal de police du district de La Chaux-de-Fonds, également saisi d'oppositions à trois autres mandats de répression dirigés contre X._, a notamment pris acte que ce dernier n'avait pas formé d'opposition à celui du 13 octobre 2008 le condamnant à 40 fr. d'amende et 60 fr. de frais. En bref, ce jugement retient, à ce sujet, que selon le dossier, X._ avait reçu notification de l'amende le 24 juin, ainsi que d'un premier et deuxième rappels les 5 et 28 août 2008. Il n'avait pas payé l'amende dans les 30 jours, de sorte que la procédure ordinaire était applicable et les frais dus dès lors que l'intéressé n'avait pas contesté l'amende et que la procédure ordinaire n'avait, par conséquent, pas été introduite sans raison.
B. Par arrêt du 8 juillet 2010, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté, sur ce point, le recours formé par X._.
En substance, cette autorité a retenu qu'en s'opposant au mandat de répression le recourant n'avait pas contesté l'amende mais les seuls frais. Il était exact que le dossier ne contenait pas la preuve de la notification de l'amende d'ordre. Se contentant d'affirmer n'avoir pas reçu le premier envoi, le recourant n'avait cependant pas contesté la constatation du premier juge d'après laquelle l'envoi de la formule avec délai de réflexion avait été suivi de deux rappels. Il était partant inexact de prétendre qu'il n'aurait pris conscience de l'infraction qu'à réception du mandat de répression. Les frais étaient ainsi dus.
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à la réforme de la décision entreprise dans le sens de son acquittement. A titre subsidiaire, il en demande l'annulation sur ce point et le renvoi de la cause à l'autorité de première instance, plus subsidiairement à la cour cantonale.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Dans un « bref rappel des faits », le recourant présente, à titre liminaire, sa propre vision des circonstances et de la procédure qui ont conduit à sa condamnation. Dans la mesure où certains des faits allégués ne ressortent pas de l'arrêt entrepris ou s'écartent de ceux constatés, ils ne seront examinés que si, dans la suite, le recourant formule sur ces mêmes points des griefs répondant aux exigences de recevabilité déduites des art. 42 al. 2, 97 al. 1 et 106 al. 2 LTF (cf. <ref-ruling> consid. 3 p. 351; également <ref-ruling> consid. 2.8 p. 494), les critiques de nature appellatoire étant irrecevables (<ref-ruling> consid. 6 p. 397).
2. En bref, le recourant soutient n'avoir eu connaissance de l'amende d'ordre qu'à réception du mandat de répression. Cette notification aurait fait courir le délai de réflexion de 30 jours de l'art. 6 al. 3 de la loi du 24 juin 1970 sur les amendes d'ordre (LAO; RS 741.03). Ce n'est qu'au terme de ce délai que la procédure ordinaire aurait pu se substituer à celle, gratuite, de l'amende d'ordre, de sorte que le mandat de répression ne pouvait lui imposer les 60 fr. de frais. Le recourant aurait fait opposition au mandat de répression en lui-même. Il avait certes indiqué qu'il ne contestait pas en tant que tel le montant de l'amende d'ordre mais l'ajout des frais. Toutefois, n'ayant jamais reconnu être l'auteur de l'infraction, c'est au mandat de répression qu'il s'était opposé. En omettant de déterminer sa culpabilité avant de le condamner, le Tribunal de police, puis la Cour de cassation cantonale auraient aussi violé la présomption d'innocence.
2.1 Le Tribunal fédéral n'examine les moyens fondés sur la violation d'un droit constitutionnel que s'ils ont été invoqués et motivés de manière précise (art. 42 al. 2 et art. 106 al. 2 LTF). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation (<ref-ruling> consid. 3 p. 351).
En l'espèce, on recherche en vain dans les écritures du recourant tout exposé, même minimal, des droits constitutionnels et conventionnels qu'il invoque, de sorte que ces griefs sont irrecevables pour ce motif déjà. Ils le sont, par ailleurs, pour les raisons qui suivent.
2.2 L'autorité précédente s'est estimée liée par la constatation de fait du premier juge selon laquelle deux rappels ont été adressés au recourant avant notification du mandat de répression parce que le recourant n'avait pas contesté ce point de fait dans son pourvoi. La cour cantonale a également souligné que le recourant n'avait pas contesté avoir reçu ces rappels (arrêt entrepris, consid. 5, p. 5), point de fait qui est également constaté par le jugement de première instance (jugement, consid. 7, p. 6).
Le recourant reproche à l'autorité précédente d'avoir constaté de manière manifestement inexacte qu'il avait reçu deux rappels avant le mandat de répression et qu'il avait ainsi eu connaissance de l'amende d'ordre avant notification du mandat. Il relève sur ce point avoir toujours soutenu n'avoir eu connaissance de l'infraction qu'à réception du mandat. Cela signifiait a contrario que les rappels ne lui étaient jamais parvenus. Ces rappels ne figuraient, du reste, pas au dossier et ce point de fait n'avait fait l'objet d'aucun acte d'instruction.
Ce faisant, le recourant discute des éléments de fait qui ont été retenus par les premiers juges mais qui n'ont pas été examinés par la cour de cassation cantonale. Le recourant n'invoque pas expressément la violation de son droit d'être entendu en ce sens que l'un de ses griefs n'aurait pas été examiné par la cour cantonale. Il ne tente pas non plus de démontrer qu'il n'aurait pas été en mesure d'invoquer ce moyen devant l'autorité précédente ou que cette dernière aurait appliqué de manière arbitraire son droit de procédure en se considérant comme liée par les constatations de fait du premier juge. La seule indication figurant en conclusion de son mémoire, que « la Cour de cassation pénale ne pouvait se limiter à interpréter les dires du premier juge pour retenir que le recourant ne s'était pas opposé au mandat de répression ou qu'il avait forcément reçu l'un des deux rappels et qu'il avait ainsi tout loisir de se renseigner » ne répond, en particulier, manifestement pas aux exigences de motivation déduites de l'art. 106 al. 2 LTF. Il n'y a pas lieu d'examiner la cause sous ces différents angles. Or, suivant le principe de l'épuisement préalable des instances cantonales qui découle de l'art. 80 al. 1 LTF, le Tribunal fédéral n'examine, dans la règle, que les griefs constitutionnels qui, pouvant l'être, ont été présentés à l'autorité cantonale de dernière instance et aux questions qui constituaient l'objet du litige devant l'autorité inférieure. Tel qu'il est articulé, le grief apparaît donc irrecevable également faute d'épuisement des voies de droit cantonales (cf. art. 80 al. 1 LTF; voir également <ref-ruling> consid. 2.1 p. 93).
De surcroît, le recourant taxe de manifestement inexactes les constatations cantonales au motif que le dossier ne permettrait pas de conclure que la formule avec délai de réflexion et les deux rappels lui ont été adressés parce que ces documents n'ont pas été versés au dossier et que cela serait contraire à ce qu'il avait soutenu en procédure. Le recourant n'invoque expressément, dans ce contexte, ni l'interdiction de l'arbitraire, ni le principe in dubio pro reo. En se bornant à réaffirmer n'avoir jamais admis qu'il avait reçu les rappels, le recourant conteste, au mieux, tout aveu sur ce point. Mais rien n'indique que les autorités cantonales se seraient fondées sur une telle déclaration du recourant. Cet argument est, pour le surplus, de nature appellatoire, partant irrecevable (<ref-ruling> consid. 3.2 p. 400) dans la mesure où il revient à contester purement et simplement la réception de ces documents.
Au demeurant, en relevant que les rappels ne figurent pas au dossier, le recourant ne discute pas la pièce 52, dont il ressort une déclaration selon laquelle ces documents lui ont été adressés les 5 et 28 août 2008 et ne sont pas revenus à l'expéditeur. Il ne discute pas non plus le procès-verbal établi le 13 octobre 2008 par l'agent Y._ (pièce 48), dont il ressort que le recourant a été rendu attentif à l'infraction commise et invité à payer dans les 30 jours l'amende qui lui a été infligée, conformément à la procédure des amendes d'ordre. Etant rappelé qu'un tel rapport est, par nature, destiné et propre à servir de moyen de preuve dans la mesure où le policier y reproduit des faits qu'il a constatés et où il est fréquent que l'on se fonde, dans les procédures judiciaires sur les constatations ainsi transcrites (arrêt 6S.703/1993 du 18 mars 1994 consid. 3b), le recourant n'expose pas en quoi il était insoutenable d'en conclure qu'il avait eu connaissance de l'infraction avant d'avoir reçu le mandat de répression. Supposé recevable, son grief serait ainsi, de toute manière, impropre à démontrer l'arbitraire des constatations de fait sur lesquelles reposent les décisions cantonales.
Il résulte de ce qui précède que la cour de céans est liée par la constatation de fait selon laquelle le recourant a eu connaissance de l'amende avant réception du mandat de répression, soit au mois d'août 2008 déjà (art. 105 al. 1 LTF).
2.3 Passé le délai de trente jours de l'art. 6 al. 1 LAO, la procédure ordinaire doit être suivie, ce qui implique, en l'espèce, l'application du droit de procédure cantonal, alors en vigueur, aux questions des frais (<ref-ruling> consid. 2a i.f. p. 98 et l'arrêt cité; <ref-ruling> consid. 1c p. 378) ainsi que de la forme et des effets de l'opposition au mandat de répression (cf. art. 16a ss CPP/NE). Le recourant ne discute pas l'application de ces normes et ne tente pas, en particulier, de démontrer que les autorités cantonales les auraient appliquées de manière arbitraire (art. 9 Cst.) ou de manière excessivement formaliste (art. 29 al. 2 Cst.). Il n'y a pas lieu d'examiner la cause sous cet angle (art. 106 al. 2 LTF).
2.4 Le recourant soutient, en revanche, qu'en confirmant sa condamnation à une amende prononcée dans le mandat de répression, mais sans examiner sa culpabilité, le Tribunal aurait violé la présomption d'innocence.
En réalité, le premier juge a simplement pris acte que le recourant n'avait pas formé d'opposition au mandat de répression et la cour cantonale a précisé qu'il fallait comprendre par là que le recourant n'avait pas contesté l'amende en tant que telle mais uniquement les frais décidés dans le mandat de répression. Les autorités cantonales n'ont donc pas condamné le recourant en suivant la procédure ordinaire sans examiner sa culpabilité. Elles ont constaté implicitement qu'en ce qui concerne l'amende, le mandat de répression valait jugement exécutoire faute d'opposition (cf. art. 16f CPP/NE) avant d'examiner si l'imposition des frais était critiquable. Indépendamment des lacunes relatives à l'exposé du droit constitutionnel invoqué (v. supra, consid. 2.1), tel qu'il est articulé, le grief n'est, ainsi, pas topique. Il est, partant, irrecevable pour ce motif également.
2.5 Enfin, le recourant ne soulève aucun grief précis en relation avec le contenu de son opposition et l'interprétation de cette déclaration. Il allègue tout au plus, dans son rappel préliminaire des faits, n'avoir pas contesté, en tant que tel, que le seul « montant de l'amende d'ordre » (recours, ch. 2 p. 3) mais qu'il se serait, en revanche, opposé au mandat de répression lui-même (recours, ch. 7, p. 2 et 2e par., p. 6).
Sur ce point, l'arrêt entrepris constate que le recourant avait déclaré « qu'il s'opposait à l'ajout de frais et demandait expressément à être jugé par un tribunal » (arrêt entrepris, consid. A, p. 2). La cour cantonale a encore précisé, en se référant au contenu de cette opposition, que le recourant ne s'était pas opposé à l'amende en tant que telle mais au paiement des frais (arrêt entrepris, consid. 5, p. 5). On ne discerne, dans les deux affirmations du recourant, aucune motivation répondant aux exigences des art. 42 al. 2 et 106 al. 2 LTF en relation avec le contenu de son opposition. Il n'y a, dès lors, pas lieu d'examiner plus avant ces allégations (v. supra consid. 1).
Au demeurant, il ressort de la pièce à laquelle s'est référée la cour cantonale que le recourant s'est exprimé comme suit: « Par la présente, je m'oppose à l'ajout de frais à une amende d'ordre notifiée selon CPPN. Par conséquent je demande expressément à être jugé par un tribunal compétent en la matière [frais de procédure] »). Les autorités cantonales pouvaient, sans solliciter ce texte de manière critiquable, en conclure que le recourant n'entendait soumettre à une autorité judiciaire que la seule question des frais à l'exclusion du prononcé de l'amende en lui-même. Une telle conclusion s'imposait d'autant plus naturellement que le recourant avait déjà formulé plusieurs oppositions à des mandats de répression sans y exprimer de restrictions ou de précisions quant à l'objet de l'opposition ou à l'autorité par laquelle il entendait être jugé (v. dossier cantonal: pièces 9, 11, 24, 32 et 44). Supposé recevable, un tel grief devrait ainsi de toute manière être écarté.
3. Le recourant succombe. Il supporte les frais de la procédure (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr. (deux mille francs), sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 5 mai 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Mathys Vallat