Faits: A. Le 19 janvier 2009, A._ a déposé plainte pénale contre X._, lui reprochant de l'avoir, dans la nuit du 10 janvier 2009, frappé au visage à deux reprises, sorti de force du bar dans lequel ils se trouvaient et roué de coups de poing et de pied au visage et sur la poitrine, le laissant ensuite inanimé dans la neige. Dans un courrier du 4 décembre 2009 au Juge d'instruction de l'arrondissement du Nord vaudois, X._ a exposé que cette bagarre avait eu lieu parce que A._ l'avait pris à partie, griffé et frappé au visage, lui cassant à cette occasion son appareil dentaire. Il n'a pas déposé plainte pénale avant cette date. Par ordonnance du 7 septembre 2010, le Juge d'instruction de l'arrondissement du Nord vaudois a renvoyé X._ devant le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois comme accusé de lésions corporelles simples. Elle a en revanche refusé de suivre à la dénonciation de X._. B. Par arrêt du 1er octobre 2010, le Tribunal d'accusation du canton de Vaud a confirmé cette décision. En bref, il a considéré que X._ n'avait pas déposé plainte pénale et que même si son courrier du 4 décembre 2009 était considéré comme telle, celle-ci aurait été tardive. Les lésions que A._ aurait fait subir à X._ n'étaient pas qualifiées et ne se poursuivaient donc pas d'office. Le Tribunal d'accusation a relevé sur ce point que X._ n'avait pas été incapable de se protéger, s'étant précisément défendu en assénant deux coups de poing au visage de A._. C. Par écriture du 3 novembre 2010, X._ a formé un recours en matière pénale. Il conclut à la réforme de l'arrêt entrepris, en ce sens que A._ est renvoyé devant le tribunal compétent pour lésions corporelles qualifiées au sens de l'art. 123 ch. 2 al. 3 CP. Subsidiairement, il requiert l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il demande, par ailleurs, le bénéfice de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.