Faits:
A. Le 29 juillet 2009, X._ a déposé plainte pénale contre Y._ pour lésions corporelles. Il alléguait avoir reçu de celui-ci un coup de poing, puis avoir été frappé au moyen d'une latte en bois de 2 mètres environ. Il en était résulté une fracture du poignet devant entraîner une incapacité de travail de 6 mois. Par lettre du 17 août 2009, le juge d'instruction a informé le plaignant que le versement d'une avance de frais de 500 fr. conditionnait l'ouverture de l'enquête. Faute de paiement dans le délai imparti, le magistrat a refusé de suivre, par ordonnance du 22 septembre 2009.
B. Par arrêt du 15 octobre 2009, le Tribunal d'accusation du canton de Vaud a rejeté le recours de X._.
C. Ce dernier recourt en matière pénale. Il conclut à l'annulation de la décision du 15 octobre 2009 et au renvoi de la cause pour nouvelle décision au sens des considérants, soit qu'il soit ordonné au magistrat de première instance d'instruire la cause.
Invités à déposer des observations, le Ministère public du canton de Vaud y a renoncé cependant que l'autorité précédente s'est référée aux considérants de sa décision.

Considérant en droit:
1. Conformément à l'<ref-law>/VD, le juge peut exiger une avance de frais du plaignant dans les cas d'actes punissables ne se poursuivant que sur plainte (al. 1). Dans le délai fixé, le plaignant peut demander expressément et par écrit à être dispensé de l'avance. Le juge statue en appliquant par analogie l'article premier de la loi sur l'assistance judiciaire en matière civile (LAJ) (al. 2). Si l'avance n'est pas fournie dans le délai fixé et que le plaignant n'en est pas dispensé, le juge, statuant selon l'<ref-law>, refuse de suivre à la plainte (al. 3).
1.1 Le recourant soutient que cette réglementation ne serait pas conforme à l'<ref-law>, qui ne pose aucune restriction financière au droit de porter plainte. Il invoque la primauté du droit fédéral (art. 49 al. 1 Cst.).
1.2 Selon la jurisprudence, le droit pénal matériel fédéral n'exclut pas que le droit cantonal pose des exigences de procédure dont la violation provoque l'arrêt de la procédure pénale. Il n'exclut même pas, dans certaines limites, que le classement soit prononcé pour de simples motifs d'opportunité (<ref-ruling> consid. 2c, p. 109 s.). Il s'ensuit que le seul fait que les règles matérielles du Code pénal ne posent aucune condition financière au dépôt de la plainte n'exclut pas nécessairement que le droit cantonal de procédure autorise, dans ce cas, le juge à conditionner l'ouverture de l'action pénale au paiement d'une avance de frais, respectivement à refuser de suivre à la plainte en cas de non-paiement de cette avance (contra: CHRISTOF RIEDO, Der Strafantrag, 2004, p. 426 ss).
L'aménagement du droit de procédure cantonal ne doit certes pas empêcher l'application du droit fédéral, dont la violation peut, le cas échéant, être invoquée devant le Tribunal fédéral (<ref-ruling> consid. 2c, p. 109 s.). Sous réserve des griefs examinés ci-dessous, le recourant ne tente cependant pas de démontrer en quoi l'avance de frais qui a été exigée de lui ne serait pas justifiée matériellement, soit, par exemple, qu'elle ne correspondrait d'aucune manière à des frais susceptibles d'être mis à sa charge à l'issue de la procédure (cf. sur ce point RIEDO, op. cit., p. 428 et l'aperçu donné par cet auteur de la diversité des réglementations cantonales, p. 566 ss). Il n'incombe pas au Tribunal fédéral d'examiner d'office ces questions de droit cantonal (<ref-law>). Le recourant ne démontre dès lors pas que le refus de suivre des autorités cantonales ne reposerait sur aucun motif raisonnable (cf. <ref-ruling> consid. 3b). Le grief est rejeté.
1.3 Le recourant soutient, ensuite, que la cour cantonale aurait appliqué arbitrairement l'<ref-law>/VD. Selon lui, le législateur cantonal avait à l'esprit des cas bagatelles et sa plainte ne pourrait être considérée comme tel.
On renvoie sur la notion d'arbitraire (art. 9 Cst.) à l'arrêt publié aux <ref-ruling> consid. 1.3 p. 4. L'introduction de l'<ref-law>/VD avait pour but de décharger les autorités pénales dans le contexte d'affaires de peu d'importance, où les personnes impliquées recourent à la justice pénale pour des motifs essentiellement chicaniers ou procéduriers. L'avance de frais traduit ainsi la volonté de dissuader ce type de plaideurs de s'adresser au juge pour des cas bagatelles (BOVAY ET AL., Procédure pénale vaudoise, 3e éd. 2008, ad <ref-law>/VD). Néanmoins, quelle que fût son intention, le législateur vaudois n'a pas fixé dans la loi d'autre limite au juge d'instruction que celle des infractions poursuivies sur plainte. Il lui a, par ailleurs, conféré un large pouvoir d'appréciation en donnant à la règle une formulation potestative. L'interprétation retenue par l'autorité cantonale, conforme au texte de la loi, n'apparaît ainsi pas insoutenable.
1.4 Le recourant soutient enfin que les autorités cantonales auraient appliqué la règle de manière arbitraire parce que les faits dont il a été victime ne se poursuivraient pas sur plainte, mais d'office. Il relève qu'une latte en bois de deux mètres de long constitue un objet dangereux justifiant que l'infraction de lésions corporelles soit poursuivie d'office au sens de l'art. 123 ch. 2 al. 1 et 2 CP.
1.4.1 Le caractère dangereux d'un objet se détermine en fonction de la façon dont il est utilisé (<ref-ruling> consid. 4). Il sera considéré comme dangereux lorsqu'il est conçu de manière telle qu'utilisé comme arme, il est propre à provoquer les blessures que causerait une arme employée dans les mêmes conditions. L'objet doit être de nature à créer un risque de mort ou de lésion corporelle grave au sens de l'<ref-law> (<ref-ruling> p. 287). Le juge dispose d'un certain pouvoir d'appréciation dans la concrétisation de cette notion large et vague (CORBOZ, Les principales infractions, 2e éd. 2002, n. 24 ad <ref-law>).
1.4.2 La cour cantonale a jugé qu'une latte en bois ne constituait pas un objet dangereux dans le sens précité (arrêt entrepris, p. 2).
On recherche en vain, dans ce raisonnement, toute considération relative à l'utilisation de l'objet en cause. Pour ce motif déjà, l'autorité cantonale a méconnu les principes de droit fédéral rappelés ci-dessus. Par ailleurs, la seule constatation qu'une latte en bois a été utilisée, sans aucune autre précision sur l'essence, la dureté, le poids, et la conformation de l'objet (pointu ou présentant des arrêtes, par exemple) ne permet pas d'exclure qu'il ait pu être dangereux, utilisé pour frapper une personne « sur tout le corps », comme l'a allégué le plaignant, soit éventuellement au visage ou sur la tête. La jurisprudence a, ainsi, reconnu à plusieurs reprises qu'un objet en bois d'une certaine longueur pouvait être dangereux au sens de l'<ref-law> (ainsi: une canne de hockey maniée par un joueur expérimenté en direction du visage d'un autre joueur, le manche d'une pioche ou d'un balai dont l'auteur s'était servi pour donner des coups rageurs et aveugles ou encore une planche de chantier brisée, à savoir un morceau de bois dur d'une dizaine de centimètres de large et d'un ou deux centimètres d'épaisseur manié à deux mains pour frapper à la volée des adversaires; arrêt 6S.65/2002 du 26 avril 2002, consid. 3.2 et les références citées). Dans ces conditions, les constatations de fait de l'arrêt entrepris ne permettent pas d'examiner si les autorités cantonales ont ou non abusé de leur pouvoir d'appréciation dans l'application de l'<ref-law>, respectivement si elles ont empêché l'application du droit fédéral en conditionnant la poursuite de cette infraction au respect d'exigences de formes liées au dépôt d'une plainte. Cela conduit à l'annulation de la décision entreprise et au renvoi de la cause à la cour cantonale afin qu'elle complète l'instruction et qu'elle se prononce à nouveau sur la question de l'application de l'<ref-law>, en tant qu'elle détermine celle de l'<ref-law>/VD.
2. Le recourant obtient gain de cause sur l'un des griefs soulevés, l'autre étant rejeté. Il n'en obtient pas moins, matériellement, l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité cantonale. Il n'y a pas lieu de prélever des frais (art. 66 al. 1 et 4 LTF). Le recourant peut prétendre des dépens à charge de l'intimé (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis partiellement.
2. L'arrêt entrepris est annulé et la cause renvoyée à la cour cantonale afin qu'elle complète l'instruction et qu'elle rende une nouvelle décision au sens des considérants.
3. Il n'est pas perçu de frais.
4. Le canton de Vaud versera au recourant la somme de 3000 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du Tribunal cantonal du canton de Vaud.
Lausanne, le 10 mai 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Favre Vallat