Faits:
A. Par jugement du 8 mai 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre le jugement du 17 novembre 2011 du Tribunal correctionnel de la Broye et du Nord vaudois et a partiellement admis ceux du Ministère public et de A._. Elle a libéré X._ des chefs d'accusation de lésions corporelles simples qualifiées, de brigandage et d'injure et l'a reconnu coupable d'agression, de lésions corporelles graves, de violation de domicile et de contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants, LStup; RS 812.121). Elle a révoqué la libération conditionnelle qui avait été accordée à l'intéressé le 10 juin 2009 par l'Office d'exécution des peines du canton d'Argovie et l'a condamné à une peine privative de liberté d'ensemble de 18 mois ainsi qu'à une amende de 300 francs, cette peine étant partiellement complémentaire à celles prononcées les 27 mars et 28 juillet 2009 par le Juge d'instruction du Nord vaudois. Enfin, elle a dit que X._ devait payer à A._ les sommes de 10'000 francs à titre de réparation du tort moral, valeur échue, et 279 francs 80 à titre d'indemnisation du dommage matériel, valeur échue, acte étant donné pour le surplus à A._ de ses réserves civiles à l'encontre de X._, ainsi que C._, D._ et E._.
B. Cette condamnation se fonde sur les principaux éléments de fait suivants.
B.a Le 11 janvier 2010, X._, C._ et D._, accompagnés d'un tiers, se sont rendus, en début de soirée, chez B._ pour acquérir du cannabis. Lorsque ce dernier a ouvert la porte, il l'a aussitôt refermée en voyant C._ sur le pas de la porte. Celui-ci a voulu forcer le passage en glissant son pied dans l'entrebâillement de celle-ci. B._ lui a alors donné un coup au visage, le faisant tomber à terre; l'intéressé conteste toutefois avoir donné ce coup. C._, D._ et X._ se sont ensuite précipités dans l'appartement pour s'en prendre physiquement à B._. Pour se défendre, celui-ci a distribué des coups de pied à ses assaillants alors qu'il était au sol. Une fois debout, il a sorti un couteau disposant d'une lame de quelques 20 centimètres qu'il portait à sa ceinture, dans le but de faire fuir ses agresseurs. Un vélo a encore été jeté sur lui.
B.b Alertée par un fracas métallique, la colocataire de B._, A._, est sortie de la cuisine. Elle a fait usage d'un spray au poivre qu'elle a vidé pour faire fuir les intrus. X._ lui a ensuite lancé un vélo, dont elle a essayé de se protéger avec les bras.
B.c B._ a présenté une plaie du cuir chevelu importante au niveau fronto-temporal droit, une plaie au niveau du tiers moyen de l'avant-bras, consécutive à un coup donné au moyen d'un objet, ainsi qu'un hématome cutané au niveau du tiers supérieur du bras droit sans plaie.
A._ a souffert d'un hématome traumatique de la main et du poignet droits, d'un hématome de l'avant-bras gauche avec dermabrasion et d'un traumatisme du poignet droit avec fracture de la styloïde cubitale, nécessitant la pose d'un plâtre. Elle a en outre présenté de nombreuses dermabrasions superficielles des doigts de la main gauche. Selon le rapport établi le 2 novembre 2011 par le Dr F._, une neuropathie cubitale s'est développée. Les premiers symptômes sont apparus environ six à huit semaines après la fracture de l'avant-bras gauche. La neuropathie s'est aggravée progressivement et a empêché la victime de manipuler, et en particulier de porter, un objet de la main gauche. Elle a été opérée le 5 décembre 2011. De plus, A._ souffre d'un trouble anxieux majeur généralisé avec phobie sociale ainsi que, depuis le mois de janvier 2010, d'un stress post-traumatique surajouté, aggravant encore sa phobie sociale.
C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 8 mai 2012. Il conclut à ce que le jugement attaqué soit réformé en ce sens qu'il est libéré des chefs d'accusation d'agression, de lésions corporelles graves, de lésions corporelles simples, de brigandage et d'injure et à ce qu'il soit constaté qu'il s'est rendu coupable de violation de domicile et de contravention à la loi fédérale sur les stupéfiants. Il conclut également à ce que la libération conditionnelle qui lui avait été accordée le 10 juin 2009 ne soit pas révoquée, à ce qu'il soit condamné à une peine privative de liberté d'une durée très largement inférieure à dix-huit mois et à une amende de 300 francs et à ce qu'il soit donné acte à A._ de ses réserves civiles. Il sollicite en outre le bénéfice de l'assistance judiciaire.
Invités à répondre au recours, la cour cantonale s'est référée aux considérants de sa décision et le Ministère public a conclu au rejet du recours. A._ a également conclu au rejet du recours et sollicité l'octroi de l'assistance judiciaire. B._ ne s'est pas déterminé dans le délai imparti.

Considérant en droit:
1. Le recourant n'a pas été reconnu coupable de brigandage, d'injure ou de lésions corporelles simples par la cour cantonale. Ses conclusions tendant à ce qu'il soit libéré de ces infractions sont donc sans objet.
2. Le recourant invoque une violation de l'<ref-law>. B._ a donné un coup de poing à C._ et A._ a fait usage d'un spray au poivre sans avoir été préalablement attaquée. Ceux-ci n'ont donc pas fait que se défendre et c'était à tort que l'infraction d'agression a été retenue à son encontre.
2. Le recourant invoque une violation de l'<ref-law>. B._ a donné un coup de poing à C._ et A._ a fait usage d'un spray au poivre sans avoir été préalablement attaquée. Ceux-ci n'ont donc pas fait que se défendre et c'était à tort que l'infraction d'agression a été retenue à son encontre.
2.1 2.1.1 L'<ref-law> réprime par une peine privative de liberté de cinq ans au plus ou une peine pécuniaire le comportement de celui qui aura participé à une agression dirigée contre une ou plusieurs personnes au cours de laquelle l'une d'entre elles ou un tiers aura trouvé la mort ou subi une lésion corporelle.
L'agression se caractérise comme une attaque unilatérale de deux personnes au moins, dirigée contre une ou plusieurs victimes, qui restent passives ou se contentent de se défendre. Pour que l'on puisse parler d'une attaque unilatérale, il faut que la ou les personnes agressées n'aient pas eu elles-mêmes, au moment de l'attaque, une attitude agressive, impliquant que le déclenchement de la bagarre, en définitive, dépendait surtout du hasard. L'<ref-law> ne sera retenu à la place de la rixe (<ref-law>) que si l'on discerne clairement une attaque unilatérale (cf. Bernard Corboz, Les infractions en droit suisse, vol. I, 2ème éd., 2010, n. 6 ad <ref-law>; Stratenwerth/Jenny/Bommer, Schweizerisches Strafrecht, Besonderer Teil I, 7ème éd., 2010, § 4 n° 38 p. 93).
2.1.2 Selon l'<ref-law>, celui qui aura pris part à une rixe ayant entraîné la mort d'une personne ou une lésion corporelle sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (al. 1). N'est pas punissable celui qui se sera borné à repousser une attaque, à défendre autrui ou à séparer les combattants (al. 2).
A la différence de l'agression, la rixe est une altercation physique réciproque entre au moins trois personnes qui y participent activement (<ref-ruling> consid. 2.1 p. 151; <ref-ruling> consid. 2b p. 57). Le comportement punissable consiste à participer à la bagarre. La notion de participation doit être comprise dans un sens large. Il faut ainsi considérer comme un participant celui qui frappe un autre protagoniste, soit toute personne qui prend une part active à la bagarre en se livrant elle-même à un acte de violence (<ref-ruling> consid. 2.1 p. 151; <ref-ruling> consid. 3e p. 252; Corboz, op. cit., n. 5 ad <ref-law>).
Lorsqu'une personne a une attitude purement passive, ne cherche qu'à se protéger et ne donne aucun coup, on ne peut soutenir qu'elle participe à la rixe (<ref-ruling> consid. 4.2.2 p. 4). En effet, celle-ci exige une certaine forme de participation, soit un combat actif, effectif et réciproque entre au moins trois personnes. Si l'une des trois ne se bat pas et n'use pas de violence pour repousser l'attaque, il n'y a pas de rixe. Dans un tel cas, on retiendra l'agression, les voies de fait, les lésions corporelles ou l'homicide (cf. ATF <ref-ruling> consid. 3e p. 252; <ref-ruling>; 70 IV 126). En revanche, quand une personne a une attitude active, mais purement défensive ou de séparation, c'est-à-dire distribue des coups, mais exclusivement pour se protéger, défendre autrui ou séparer les combattants, on a alors affaire à une rixe (<ref-ruling> consid. 2.1.2 p. 153; <ref-ruling>). Dans ce sens, la jurisprudence a précisé que du moment où la loi accorde l'impunité à celui qui s'est borné à se défendre (<ref-law>), elle admet qu'il est aussi un participant au sens de l'<ref-law> (ATF <ref-ruling> consid. 3e p. 252).
2.2 La cour cantonale a considéré que B._, qu'il se soit limité à repousser C._ en lui fermant la porte au nez ou qu'il lui ait effectivement asséné un coup, avait manifesté sa volonté de mettre fin à l'incident. Pour lui, l'épisode était alors clos et rien ne lui permettait de s'attendre à une agression. Le possible coup de poing et la volonté de B._ de fermer la porte à ses visiteurs importuns marquait une interruption dans le déroulement des événements qui excluait la rixe, même si cette interruption n'avait duré que quelques secondes. De plus, les victimes n'avaient pas donné de coups dans le dessein de participer à la bagarre, pour autant même qu'elles en aient assénés. En particulier, l'intervention de B._ n'avait été que défensive, y compris en ce qui concerne l'exhibition du couteau, dont il n'avait pas fait usage. Aucun des intrus n'avait été blessé à l'arme blanche, ni même n'avait dû esquiver un coup de couteau et le spray au poivre utilisé par A._ était un instrument de défense. Les victimes avaient été la proie d'une attaque unilatérale. L'agression était dirigée aussi bien et dans la même mesure contre l'une et l'autre des victimes. Rien ne permettait de retenir qu'elles avaient réagi au-delà de ce qui était nécessaire pour se défendre. Les appels des prévenus tendant à leur libération du chef d'accusation d'agression devaient donc être rejetés.
2.3 Il a été constaté que le recourant et ses comparses s'étaient rendus chez B._ pour lui acheter du cannabis, non pour le frapper. Ils ne se sont pas précipités dans l'appartement de celui-ci dès qu'il a ouvert la porte, mais uniquement après qu'il a repoussé C._ et l'a fait tomber. L'attaque dont B._ a ensuite fait l'objet résulte ainsi directement de ce premier différend. Scinder l'action en deux phases distinctes, comme l'a fait la cour cantonale, alors que l'interruption entre celles-ci n'a été que de quelques secondes, est artificiel et ne correspond pas à la logique des événements. Ceux-ci forment au contraire une unité matérielle. Il ne peut ainsi être fait abstraction du comportement de B._ après qu'il a ouvert sa porte pour qualifier les faits reprochés au recourant.
Il ressort des constatations cantonales qu'à cette occasion, B._ a donné, sans autre sommation, un coup de poing à C._. Un tel geste n'était pas purement défensif, mais il constitue au contraire une marque d'agressivité. B._ aurait pu s'opposer à C._ qui tentait de forcer le passage pour entrer dans son appartement en le repoussant par les épaules, par exemple, sans directement le frapper d'un geste qui doit être qualifié de brutal et excessif. Le fait que B._ avait dû, quelques jours auparavant, exhiber un couteau pour faire partir C._ n'est, pour le surplus, pas déterminant dans la mesure où il n'est pas constaté qu'à cette précédente occasion, il aurait été agressé physiquement et aurait ainsi pu d'emblée craindre pour son intégrité corporelle lorsqu'il a ouvert la porte. Dès lors, les violences commises par le recourant après avoir pénétré dans l'appartement de B._ ne peuvent être qualifiées d'unilatérales au regard de l'<ref-law>. La cour cantonale a indiqué que B._ contestait avoir donné un coup de poing et, dans son raisonnement en droit, que peu importait la nature exacte du geste de B._, qu'il ait frappé ou simplement repoussé C._. Ces précisions ne peuvent être comprises comme une remise en cause du fait que l'intéressé a bien donné un coup de poing, ce que le Ministère public ne fait d'ailleurs pas valoir. En effet, l'autorité précédente n'a pas indiqué qu'elle entendait s'écarter des constatations des premiers juges qui ont considéré que les dénégations de B._ n'étaient pas crédibles en tant qu'il contestait avoir donné un tel coup. En outre, elle a envisagé l'hypothèse où B._ n'aurait pas frappé C._ uniquement pour affirmer que, quelle que soit l'hypothèse retenue, l'intéressé avait manifesté sa volonté de mettre fin à l'incident et ainsi renforcer sa solution selon laquelle les événements s'étaient déroulés en deux phases distinctes.
En définitive, la décision attaquée viole le droit fédéral en tant qu'elle considère que l'attaque du recourant était unilatérale et reconnaît celui-ci coupable d'agression selon l'<ref-law>. Le recours est admis à cet égard et la cause est renvoyée à l'autorité cantonale afin qu'elle statue à nouveau.
3. Invoquant une appréciation arbitraire des preuves, le recourant conteste qu'il pouvait être retenu à son encontre qu'il avait jeté un vélo sur A._. Il fait valoir, subsidiairement, si ce grief devait être rejeté, que les lésions corporelles subies par l'intéressée ne peuvent être qualifiées de graves au sens de l'<ref-law>, mais uniquement de simples selon l'<ref-law>. Ces deux questions vont être examinées successivement.
3. Invoquant une appréciation arbitraire des preuves, le recourant conteste qu'il pouvait être retenu à son encontre qu'il avait jeté un vélo sur A._. Il fait valoir, subsidiairement, si ce grief devait être rejeté, que les lésions corporelles subies par l'intéressée ne peuvent être qualifiées de graves au sens de l'<ref-law>, mais uniquement de simples selon l'<ref-law>. Ces deux questions vont être examinées successivement.
3.1 3.1.1 Le Tribunal fédéral est lié par les constatations cantonales (<ref-law>), à moins que les faits aient été établis en violation du droit ou de manière manifestement inexacte, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62; sur la notion d'arbitraire, voir <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 7 p. 82). Un tel moyen doit être invoqué et motivé de manière claire et détaillée par le recourant (<ref-law>; <ref-ruling> consid. 3.2); les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5; <ref-ruling> c. 5.1 p. 365).
3.1.2 La cour cantonale a relevé que A._ avait varié dans ses déclarations, revenant sur le fait qu'elle avait été frappée par une barre en fer. Elle avait en revanche été constante quant au fait qu'elle avait été blessée exclusivement par un vélo qui lui avait été lancé dessus. Elle ignorait qui était l'auteur de ce geste, mais avait précisé qu'il s'agissait du plus grand des intrus. La cour avait pu constater que le recourant était le plus grand et le plus corpulent lorsque, durant les débats, les trois prévenus s'étaient levés. L'intéressée connaissait en outre C._ qui était déjà venu chez elle quatre jours auparavant, soit le 7 janvier 2010, et qu'elle avait désigné comme étant le plus petit. Elle n'avait pas indiqué qu'il avait jeté le vélo sur elle. Elle avait en outre indiqué avoir fait usage de son spray au poivre en direction de la personne qui ensuite avait lancé le vélo et le recourant avait admis avoir été atteint par le spray. B._ avait pour sa part indiqué qu'elle avait aspergé le plus grand des intrus. Le rapprochement de l'ensemble de ces éléments permettait de retenir que c'était le recourant qui avait jeté le vélo sur A._.
3.1.3 Le recourant fait valoir qu'il était arbitraire de retenir les déclarations de A._ sur cette question puisqu'elle avait présenté plusieurs versions, très confuses, tout au long de l'enquête et lors des débats. Il était en outre notoire qu'une personne qui avait reçu du spray au poivre n'était pas en mesure de saisir un vélo et de le projeter sur une autre personne. Il avait d'ailleurs précisé qu'après avoir été aspergé, il ne savait même plus où il était.
L'argumentation du recourant consiste à opposer sa propre appréciation des preuves à celle de la cour cantonale. Elle est appellatoire et, partant, irrecevable. Au demeurant, A._ a indiqué, sans qu'il soit constaté qu'elle avait varié sur ces points, qu'elle avait fait usage de son spray au poivre contre l'individu qui avait lancé le vélo, lequel était le plus grand de ceux qui avaient pénétré dans l'appartement. Or, le recourant a admis avoir reçu du spray au poivre et la cour cantonale a constaté elle-même qu'il était de plus grande taille que ses comparses, ce que l'intéressé ne conteste pas. Il n 'était dès lors pas arbitraire de retenir que c'était le recourant qui avait lancé le vélo.
L'argumentation du recourant consiste à opposer sa propre appréciation des preuves à celle de la cour cantonale. Elle est appellatoire et, partant, irrecevable. Au demeurant, A._ a indiqué, sans qu'il soit constaté qu'elle avait varié sur ces points, qu'elle avait fait usage de son spray au poivre contre l'individu qui avait lancé le vélo, lequel était le plus grand de ceux qui avaient pénétré dans l'appartement. Or, le recourant a admis avoir reçu du spray au poivre et la cour cantonale a constaté elle-même qu'il était de plus grande taille que ses comparses, ce que l'intéressé ne conteste pas. Il n 'était dès lors pas arbitraire de retenir que c'était le recourant qui avait lancé le vélo.
3.2 3.2.1 L'<ref-law> réprime notamment le comportement de celui qui, intentionnellement, aura mutilé le corps d'une personne, un de ses membres ou un de ses organes importants ou causé à une personne une incapacité de travail, une infirmité ou une maladie mentale permanentes, ou aura intentionnellement fait subir à une personne toute autre atteinte grave à l'intégrité corporelle ou à la santé physique ou mentale.
Sont considérés comme des membres importants au sens de l'<ref-law> avant tout les extrémités, soit les bras et les jambes, ainsi que les mains et les pieds (Roth/Berkemeier, in Basler Kommentar, Strafrecht II, 2ème éd., 2007, n° 11 ad <ref-law>; Andreas Donatsch, Strafrecht III, Delikte gegen den Einzelnen, 9eme éd. 2008, p. 39). Un organe ou un membre important est inutilisable lorsque ses fonctions de base sont atteintes de manière significative. Une atteinte légère ne suffit en revanche pas, même lorsqu'elle est durable et qu'il ne peut y être remédié (<ref-ruling> consid. 3.2 p. 3; arrêt 6B_26/2011 du 20 juin 2011 consid. 2.4.1). La clause générale de l'<ref-law> a pour but d'englober les cas de lésions du corps humain ou de maladie, qui ne sont pas cités par l'<ref-law>, mais qui entraînent néanmoins des conséquences graves sous la forme de plusieurs mois d'hospitalisation, de longues et graves souffrances ou de nombreux mois d'incapacité de travail (<ref-ruling> consid. 2 p. 56 s.). Il faut procéder à une appréciation globale et plusieurs atteintes, dont chacune d'elles est insuffisante en soi, peuvent contribuer à former un tout représentant une lésion grave (arrêt 6B_486/2009 du 26 octobre 2009 consid. 4.2; 6B_518/2007 du 15 novembre 2007 consid. 2.1.1). Comme la notion de lésions corporelles graves est une notion juridique indéterminée, la jurisprudence reconnaît, dans les cas limites, une certaine marge d'appréciation au juge du fait et le Tribunal fédéral ne revoit cette question qu'avec retenue (<ref-ruling> consid. 3.2; <ref-ruling> consid. 2a et b; cf. aussi <ref-ruling> consid. 2c).
3.2.2 La cour cantonale a considéré que les lésions corporelles subies par A._ devaient être qualifiées de graves au motif qu'à la suite de la réparation de la fracture dont elle avait été victime, une neuropathie cubitale était apparue à l'avant-bras et au coude gauche, laquelle avait dû être opérée un peu moins de deux ans après les faits. En plus de l'atteinte à la fonction du bras, les lésions avaient entraîné un lourd traitement médical et physiothérapeutique ainsi que de longues et graves souffrances, avec plusieurs mois d'incapacité de travail impliquant l'usage des deux mains. De telles lésions devaient être considérées comme graves. A ces lésions physiques s'ajoutaient un trouble anxieux majeur généralisé et un stress post-traumatique qui aggravaient la phobie sociale préexistante de la victime.
L'ensemble des éléments pris en compte par la cour cantonale, à savoir l'atteinte aux fonctions d'un membre important encore deux ans après les faits, la nécessité de suivre un lourd traitement médical et physiothérapeutique, de longues et graves souffrances, une incapacité de travail de plusieurs mois, auxquels s'ajoute une atteinte psychique, permettaient de qualifier les lésions corporelles subies par A._ de graves. Concernant les lésions psychiques dont cette dernière souffre, le recourant soutient qu'elles étaient préexistantes et ne pouvaient être prises en compte. De la sorte, il conteste qu'elles présentent un lien de causalité naturelle avec son geste. La constatation du rapport de causalité naturelle relève du fait (<ref-ruling> consid. 4.1.3 p. 61 et les arrêts cités). Le recourant n'explique cependant pas en quoi la cour cantonale - qui n'a pas ignoré que A._ souffrait d'une phobie sociale préexistante - avait arbitrairement retenu qu'un trouble psychique s'ajoutait aux lésions physiques causées par le lancé du vélo. Faute de toute motivation conforme aux exigences de motivation de l'<ref-law> (cf. supra consid. 3.1.1), le grief est irrecevable.
En définitive, la cour cantonale n'a pas violé le droit fédéral en reconnaissant le recourant coupable d'infraction à l'<ref-law> au vu des atteintes physiques et psychiques présentées par A._. Le grief doit être rejeté dans la mesure où il est recevable.
4. Le recourant fait valoir que si l'infraction de lésions corporelles graves ou simples devait être retenue, il faudrait considérer que le montant de 10'000 francs alloué à A._ est arbitrairement élevé au vu des lésions physiques et de l'atteinte psychique qui était largement préexistante.
4.1 En vertu de l'<ref-law>, le juge peut, en tenant compte de circonstances particulières, allouer à la victime de lésions corporelles une indemnité équitable à titre de réparation morale. Les circonstances particulières à prendre en compte se rapportent à l'importance de l'atteinte à la personnalité du lésé, l'<ref-law> étant un cas d'application de l'<ref-law>. Les lésions corporelles, qui englobent tant les atteintes physiques que psychiques, doivent donc en principe impliquer une importante douleur physique ou morale ou avoir causé une atteinte durable à la santé. Parmi les circonstances qui peuvent, selon les cas, justifier l'application de l'<ref-law>, figurent une longue période de souffrance et d'incapacité de travail, de même que les préjudices psychiques importants (arrêt 4A_373/2007 du 8 janvier 2008 consid. 3.2, non publié in <ref-ruling>; <ref-ruling> consid. 2.2.2 p. 119; arrêt 6B_970/2010 du 23 mai 2011 consid. 1.1.2).
En raison de sa nature, l'indemnité pour tort moral, qui est destinée à réparer un dommage qui ne peut que difficilement être réduit à une simple somme d'argent, échappe à toute fixation selon des critères mathématiques, de sorte que son évaluation en chiffres ne saurait excéder certaines limites. L'indemnité allouée doit toutefois être équitable (<ref-ruling> consid. 5.1 p. 704/705 et les arrêts cités). Statuant selon les règles du droit et de l'équité (<ref-law>), le juge dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral ne substitue qu'avec retenue sa propre appréciation à celle de la juridiction cantonale. Il n'intervient que si la décision s'écarte sans raison des règles établies par la doctrine et la jurisprudence, repose sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou encore ne tient pas compte d'éléments qui auraient absolument dû être pris en considération. En outre, il redresse un résultat manifestement injuste ou une iniquité choquante (<ref-ruling> consid. 2 p. 123; <ref-ruling> consid. 2.2.3 p. 120 et 2.2.5 p. 121; <ref-ruling> consid. 2a p. 417).
4.2 En l'espèce, le recourant ne conteste pas le principe même de l'allocation d'une indemnité pour tort moral à A._, mais uniquement son montant.
La cour cantonale a considéré que l'atteinte subie par A._ était grave, sur le plan physique d'abord, vu les complications qui étaient apparues, les douleurs subies et la nécessité de pratiquer une opération deux ans après les faits. Psychiquement, sa phobie sociale s'était aggravée à la suite des lésions corporelles graves perpétrées dans des circonstances hautement anxiogènes et elle vivait désormais comme une recluse alors qu'auparavant, sa situation ne nécessitait pas une prise en charge thérapeutique. La diminution de l'usage des membres supérieurs subie par la victime durant une période prolongée et les séquelles psychiques qui apparaissaient durables justifiaient qu'une somme de 10'000 francs soit allouée.
Le recourant se borne à affirmer qu'une telle somme est arbitrairement élevée au vu de l'atteinte subie par l'intimée. Une telle argumentation ne répond pas aux exigences de motivation de l'<ref-law> qui impose au recourant de discuter au moins brièvement les considérants de la décision litigieuse et indiquer en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2.1 p. 245 s.; <ref-ruling> consid. 3.3 p. 60). Au demeurant, A._ a subi une atteinte qualifiée de grave par la cour cantonale, qui a nécessité de lourds traitements et causé de graves souffrances physiques et qui l'handicape encore de manière importante deux ans après les faits sur le plan psychique. Au vu de ces éléments, en allouant une indemnité pour tort moral de 10'000 francs, la cour cantonale n'a pas outrepassé le large pouvoir d'appréciation dont elle disposait à un point qu'il faille redresser un résultat manifestement injuste ou une iniquité choquante. Le grief est rejeté dans la mesure où il est recevable.
5. Le recourant fait encore valoir que dans la mesure où il est, notamment, libéré du chef d'infraction d'agression, la décision entreprise doit être revue en ce qui concerne la peine prononcée à son encontre et la révocation de la libération conditionnelle dont il avait bénéficié le 10 juin 2009. Vu l'issue du litige, il n'y a pas lieu d'examiner ces griefs. L'autorité cantonale devra également statuer sur les frais. Il peut toutefois être d'ores et déjà relevé, en réponse au grief de violation de l'<ref-law> soulevé par le recourant, qui soutient que l'indemnité allouée au conseil d'office de A._ doit être laissée à la charge de l'Etat, que la condamnation du prévenu au remboursement des frais d'assistance judiciaire de la partie plaignante peut être prévue, pour autant que leur remboursement soit soumis à l'amélioration de sa situation financière (cf. arrêt 6B_112/2012 du 5 juillet 2012 consid. 1.4).
6. Le recours doit être partiellement admis. L'arrêt attaqué est annulé en tant qu'il a reconnu le recourant coupable d'agression et la cause renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants. Le recours est rejeté pour le surplus dans la mesure où il est recevable.
Le recourant obtient partiellement gain de cause. Il peut donc prétendre à une indemnité de dépens réduite (cf. <ref-law>). Dans cette mesure, sa demande d'assistance judiciaire devient sans objet. Pour le surplus, cette demande est rejetée, les autres griefs soulevés étant dénués de chances de succès (<ref-law>). Le recourant supportera par ailleurs des frais réduits, eu égard à l'issue de la cause et à sa situation financière (art. 65 al. 2 et 66 al. 1 LTF). A._ a sollicité l'assistance judiciaire. Ses conclusions n'étaient pas dénuées de chances de succès et sa situation économique justifie l'octroi de l'assistance judiciaire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour qu'elle statue à nouveau dans le sens des considérants. Le recours est rejeté pour le surplus dans la mesure où il est recevable.
2. Une part des frais judiciaires, arrêtée à 800 francs, est mise à la charge du recourant, le solde demeurant à la charge de l'Etat.
3. Une indemnité de 1'500 francs, à payer au conseil du recourant à titre de dépens, est mise à la charge du canton de Vaud.
4. La demande d'assistance judiciaire du recourant est rejetée dans la mesure où elle n'est pas sans objet.
5. La demande d'assistance judiciaire de A._ est admise et la Caisse du Tribunal fédéral versera à Me Alexa Landert une indemnité de 1'000 francs à titre d'honoraires d'avocat d'office.
6. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 7 janvier 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben