Faits: A. A.a Le 4 octobre 2008, X._, né 13 février 1990, s'est rendu à la Foire du Valais à Martigny accompagné d'une douzaine d'amis alors mineurs. Il s'était entendu avec l'un d'eux dans l'après-midi pour que celui-ci prenne des armes, soit un couteau papillon, remis à X._, ainsi qu'une matraque télescopique et un pistolet à billes, afin de pouvoir se défendre en cas de bagarre. A.b A la sortie de la Foire du Valais, entre 21h00 et 22h00, X._ et ses amis ont croisé un groupe composé de A._, B._, C._ et D._, qui marchaient sur le même trottoir, en sens inverse. Arrivé à leur hauteur, X._ - qui avait déjà eu, plutôt dans la soirée, une altercation avec un tiers auquel il avait essayé de donner un coup de couteau - a asséné un violent coup d'épaule à D._. Alors que celle-ci avait protesté, X._ et ses camarades se sont rués sur elle et ses trois amis. Chacun d'eux a reçu plusieurs coups de poing et de pied, certains violents, à la tête et au corps, alors qu'ils étaient debout ou couchés au sol. L'un des agresseurs a fait usage de la matraque télescopique et un autre a tiré à une dizaine de reprises avec le pistolet à billes, en l'air et sur les victimes, et a donné des coups de crosse. Les assaillants ont cessé leurs coups lorsqu'ils ont été informés de l'arrivée de la police et ils se sont enfuis. A.c Les quatre victimes ont été emmenées dans les hôpitaux de Martigny et de Sion. A._ présentait une hémorragie occipitale du cuir chevelu qui a nécessité la pose de trois points de suture. Il a consulté le Dr E._ le 13 octobre 2008 qui a constaté la présence d'une plaie occipitale du cuir chevelu d'une longueur de 4 centimètres ainsi qu'un hématome rétro-auriculaire gauche de la taille d'une pièce de 2 francs. A._ a expliqué, lors des débats de première instance, qu'il était beaucoup plus méfiant lorsqu'il sortait avec sa petite amie, éprouvant surtout de la crainte lorsqu'il fréquentait un établissement public. B._ a souffert de contusions lombaires et d'un saignement discret de l'oreille gauche. Il a consulté le Dr F._ le 6 octobre 2008 qui a constaté un hématome de périosité sur le tibia gauche et des douleurs à la palpation para-lombaires gauches ainsi qu'à la pression de deux vertèbres thoraciques. Ces lésions ont entraîné une incapacité de travail de 100% du 4 au 9 octobre 2008 et de 50% du 10 au 19 octobre 2008. B._ a expliqué que depuis le 4 octobre 2008, il avait tout le temps peur lorsqu'il y avait du monde. C._ a subi, à teneur du constat du Dr E._ du 6 octobre 2008, des contusions multiples au niveau du crâne, de l'omoplate gauche, du coude gauche et du poignet gauche ainsi qu'une plaie occipitale droite, un hématome au bras droit et à l'omoplate droite, un hématome en lunette marqué surtout sous l'?il gauche et un hématome pariéto-temporal gauche. En raison de céphalées d'intensité moyenne et de douleurs dorsales para-vértébrales, il a bénéficié d'un arrêt de travail du 4 au 20 octobre 2008. Il n'a pas conservé de séquelles physiques, mais souffre d'angoisse quand il sort. D._ a souffert de contusions multiples, en particulier occipitales, dorsales et au poignet gauche. En formation d'ébéniste, elle a été en incapacité de travail du 4 octobre au 2 novembre 2008. Le 2 mars 2009, elle a subi une opération en raison de la lésion du ligament triangulaire du carpe gauche. Le Dr G._ a préconisé, aux termes de son rapport du 31 mai 2010, un reclassement professionnel dans une activité n'exigeant pas le port de charges supérieures à 10 kilos, ni de sollicitations soutenues de la main et du poignet gauche. D._ a renoncé à la profession d'ébéniste et a entrepris une réinsertion professionnelle avec le soutien de l'assurance invalidité. Elle porte en permanence une attelle au poignet gauche. Elle a en outre bénéficié d'un suivi de 3 séances chez un psychologue. Selon le rapport du 23 septembre 2010 du Dr H._, psychiatre, elle souffre d'un état de stress post-traumatique en rémission partielle. B. Par jugement du 19 avril 2011, rendu sur opposition de X._ et du Ministère public à l'ordonnance pénale du Juge d'instruction du 15 janvier 2010, le Juge II des districts de Martigny et Saint-Maurice a reconnu l'intéressé coupable de lésions corporelles simples (art. 123 ch. 1 CP) et d'agression (art. 134 CP). Il l'a condamné à une peine privative de liberté de 12 mois, sous déduction de la détention subie avant jugement, avec sursis et délai d'épreuve de deux ans, et a rejeté les prétentions civiles de A._, B._ et C._, alors que celles de D._ ont été réservées et renvoyées au for civil. C. La Cour d'appel II du Tribunal cantonal valaisan a, par jugement du 3 mai 2012, admis l'appel du Ministère public contre le jugement de première instance, a partiellement admis celui de A._, B._ et C._ et a rejeté celui de X._. Celui-ci a été condamné à une peine privative de liberté de 15 mois, sous déduction de la détention avant jugement, avec sursis et délai d'épreuve de trois ans, ainsi qu'à une amende de 5'000 francs, prononcée en vertu de l'art. 42 al. 4 CP, laquelle a toutefois été convertie, selon l'art. 107 al. 1 CP, en un travail d'intérêt général de 200 heures. X._ a par ailleurs été condamné à verser à A._, B._ et C._ une indemnité pour tort moral de 2'000 francs chacun avec intérêts à 5% dès le 4 octobre 2008, les droits des intéressés étant réservés pour le surplus, de même que les prétentions de D._. D. X._ interjette un recours en matière pénale contre le jugement du 3 mai 2012. Il conclut, principalement, à la réforme de celui-ci en ce sens qu'il soit condamné à une peine clémente assortie du sursis, à ce que les prétentions de A._, B._ et C._ soient rejetées, et à ce qu'une équitable indemnité lui soit allouée à titre de dépens. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause à l'autorité cantonale pour nouveau jugement dans le sens des considérants et, en tout état de cause, à ce que les frais de justice ainsi qu'une équitable indemnité de dépens soient mis à la charge du "fisc". Il a en outre sollicité le bénéfice de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.