Faits:
A. Le 19 janvier 2009, A._ a déposé plainte pénale contre X._, lui reprochant de l'avoir, dans la nuit du 10 janvier 2009, frappé au visage à deux reprises, sorti de force du bar dans lequel ils se trouvaient et roué de coups de poing et de pied au visage et sur la poitrine, le laissant ensuite inanimé dans la neige.
Dans un courrier du 4 décembre 2009 au Juge d'instruction de l'arrondissement du Nord vaudois, X._ a exposé que cette bagarre avait eu lieu parce que A._ l'avait pris à partie, griffé et frappé au visage, lui cassant à cette occasion son appareil dentaire. Il n'a pas déposé plainte pénale avant cette date.
Par ordonnance du 7 septembre 2010, le Juge d'instruction de l'arrondissement du Nord vaudois a renvoyé X._ devant le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois comme accusé de lésions corporelles simples. Elle a en revanche refusé de suivre à la dénonciation de X._.
B. Par arrêt du 1er octobre 2010, le Tribunal d'accusation du canton de Vaud a confirmé cette décision. En bref, il a considéré que X._ n'avait pas déposé plainte pénale et que même si son courrier du 4 décembre 2009 était considéré comme telle, celle-ci aurait été tardive. Les lésions que A._ aurait fait subir à X._ n'étaient pas qualifiées et ne se poursuivaient donc pas d'office. Le Tribunal d'accusation a relevé sur ce point que X._ n'avait pas été incapable de se protéger, s'étant précisément défendu en assénant deux coups de poing au visage de A._.
C. Par écriture du 3 novembre 2010, X._ a formé un recours en matière pénale. Il conclut à la réforme de l'arrêt entrepris, en ce sens que A._ est renvoyé devant le tribunal compétent pour lésions corporelles qualifiées au sens de l'<ref-law>. Subsidiairement, il requiert l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il demande, par ailleurs, le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. La décision attaquée a été rendue le 1er octobre 2010. La qualité de l'intéressé pour former un recours en matière pénale s'examine par conséquent au regard de l'<ref-law>, dans sa teneur en vigueur jusqu'au 31 décembre 2010 (<ref-law>; arrêt 1B_37/2011 du 4 février 2011 consid. 2).
1.1 En l'état de la législation au 31 décembre 2010, le lésé, qui n'a pas la qualité de victime au sens de la loi fédérale du 23 mars 2007 sur l'aide aux victimes d'infractions (LAVI; RS 312.5), ne peut remettre en cause la décision sur le fond, par exemple contester l'application de la loi matérielle ou l'appréciation des preuves. Il peut uniquement se plaindre d'une violation des droits qui lui sont reconnus, en tant que partie à la procédure, par le droit cantonal, le droit constitutionnel fédéral ou le droit conventionnel, lorsque cette violation équivaut à un déni de justice formel (cf. <ref-ruling> consid. 1.7 et 1.9 p. 40 ss; également arrêt 6B_627/2010 du 9 décembre 2010 consid. 1.2).
Est une victime au sens de la LAVI, toute personne qui a subi, du fait d'une infraction, une atteinte directe à son intégrité physique, psychique ou sexuelle (<ref-law>). L'atteinte doit revêtir, objectivement, une certaine gravité. Il ne suffit pas que la victime ait subi des désagréments, qu'elle ait eu peur ou qu'elle ait eu quelque mal. Il faut déterminer si, au regard des conséquences de l'infraction en cause, le lésé peut légitimement invoquer le besoin de la protection prévue par la loi fédérale. Tant que les faits ne sont pas définitivement arrêtés, il faut se fonder sur les allégués de celui qui se prétend lésé pour déterminer s'il est une victime au sens de la LAVI (<ref-ruling> consid. 1.2.1 p. 218 et les références citées; également arrêt 6B_629/2010 du 25 novembre 2010 consid. 2.1)
1.2 En l'espèce, le recourant se plaint d'avoir été griffé et frappé au visage par l'intimé, qui aurait cassé son dentier. Ce dernier préjudice n'est pas de nature corporelle et ne justifie donc pas de reconnaître la qualité de victime au recourant. Quant aux autres atteintes, qui ne sont attestées par aucune pièce, notamment photos ou certificat médical pourtant annoncés par le recourant (Procès-verbal d'audition du 2 septembre 2009, lignes 26 et 27; pièces 15 et 17), elles ne revêtent pas une gravité particulière. On peut ainsi sérieusement se demander si l'atteinte dénoncée est suffisamment grave pour que le recourant se voie accorder la qualité de victime. Au vu du sort du recours, cette question peut toutefois rester ouverte.
2. Dans le recours en matière pénale, les faits constatés par l'autorité intimée lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit essentiellement de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire, v. <ref-ruling> consid. 4.2 p. 560 et les arrêts cités). Le Tribunal fédéral n'examine les moyens fondés sur la violation d'un droit constitutionnel que s'ils ont été invoqués et motivés de manière précise (art. 42 al. 2 et <ref-law>). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation (cf. <ref-ruling> consid. 3 p. 351; également <ref-ruling> consid. 2.8 p. 494).
2.1 Le recourant se réfère à des dépositions et pièce figurant au dossier (Recours, p. 9-11). Il invoque ensuite qu'il aurait été attaqué "sans raison", "par surprise" et "sans avoir eu la possibilité ni la moindre chance de faire face à son agresseur" (Recours, p. 10). Ces faits ne résultent pas de l'arrêt entrepris. Faute pour le recourant de démontrer, conformément aux exigences de motivation accrues posées par l'<ref-law>, que l'autorité intimée serait tombée dans l'arbitraire en ne les constatant pas, ils ne peuvent être pris en considération dans le cadre du présent recours.
2.2 Le recourant écrit que la motivation de l'autorité intimée serait "manifestement insuffisante à faire admettre le bien-fondé du refus de suivre prononcé, puisqu'elle n'examine pas le déroulement des faits" (Recours, p. 10). Ce faisant, il n'explicite toutefois pas quelle disposition constitutionnelle aurait été violée et en quoi. Ce grief est également irrecevable.
3. Le recourant reproche en réalité à l'autorité intimée d'avoir refusé de considérer que le comportement de A._ tombait sous le coup de l'<ref-law> (Recours, p. 5 3ème paragraphe), si bien que la poursuite, malgré l'absence de plainte formulée en temps utile, devait avoir lieu d'office.
3.1 En vertu de l'<ref-law>, est poursuivi d'office celui qui aura intentionnellement fait subir à une personne hors d'état de se défendre une atteinte à l'intégrité corporelle ou à la santé, atteinte non qualifiée de grave au sens de l'<ref-law>.
3.2 Est "hors d'état de se défendre", celui qui n'est pas en mesure de se soustraire aux effets dommageables des actes dont il est l'objet. Les termes employés par le législateur n'impliquent pas que l'incapacité visée découle de particularités physiques ou psychiques telles que l'âge, la faiblesse corporelle, la maladie ou l'infirmité. La loi n'exige pas non plus que la victime soit hors d'état de se soustraire à n'importe quelle attaque. Il suffit qu'elle ne puisse se défendre avec quelques chances de succès contre son agresseur et contre le dommage dont il la menace (<ref-ruling> consid. 3.3). C'est en raison de la bassesse que l'acte révèle chez l'auteur et de la protection dont la victime a particulièrement besoin que le législateur a prévu la poursuite d'office de ce comportement (<ref-ruling> consid. 4b p. 129).
3.3 En l'espèce, l'état de fait établi par l'autorité précédente retient que l'intimé a pris à partie le recourant et l'a griffé et frappé au visage (Arrêt, p. 2). Il ne contient en revanche aucun élément permettant de penser que le recourant n'aurait pas été en mesure de se défendre lors de l'agression, cela d'autant plus qu'il y a mis fin en frappant lui-même l'intimé. Dès lors, c'est à juste titre que l'autorité précédente a estimé que l'<ref-law> ne s'appliquait pas au comportement de l'intimé et que ce dernier ne devait pas être poursuivi, en l'absence de plainte formulée en temps utile par le recourant.
4. Ce dernier succombe. Ses conclusions étaient d'emblée dénuées de chances de succès. L'assistance judiciaire doit lui être refusée (<ref-law>). Le recourant supporte les frais de la cause qui sont fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens à A._, qui n'a pas été amené à se déterminer, ni au Ministère public (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. L'assistance judiciaire est refusée.
3. Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal d'accusation du canton de Vaud.
Lausanne, le 24 mars 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Cherpillod