Faits:
A. Le 25 août 2010, le juge des districts d'Hérens et Conthey a reconnu X._ coupable de lésions corporelles simples (<ref-law>) et l'a condamné à une peine pécuniaire de 40 jours-amende à 78 francs le jour, avec sursis et délai d'épreuve de deux ans. L'intéressé a par ailleurs été condamné à verser à A._ un montant de 561 francs 40 avec intérêts à 5% l'an dès le 1er avril 2007 à titre de réparation du dommage subi, les autres prétentions du précité étant rejetées.
B. Sur appel du condamné, la Juge de la Cour pénale II du Tribunal cantonal du canton du Valais a confirmé la décision attaquée par jugement du 22 février 2012. Elle s'est fondée sur les principaux éléments de fait suivants.
Le 1er avril 2007, entre minuit et 01h00, une altercation a eu lieu dans un café de Sion entre A._ et X._. Celui-ci a asséné plusieurs coups de poing sur le crâne, au visage et à plusieurs endroits du corps de A._, qu'il a fait chuter, lui causant diverses blessures.
Selon le constat du médecin qui a examiné A._ le 2 avril 2007, celui-ci présentait une tuméfaction ainsi qu'une bosse sur la partie occipitale droite, une trace de contusion rétro-auriculaire gauche et sur l'arcade gauche, un hématome à la fesse droite et une légère tuméfaction au niveau de l'articulation mandibulaire gauche. Une IRM cérébrale réalisée le 5 avril 2007 a révélé une hyper intensité de signal infra centimétrique de la substance blanche frontale supérieure gauche, aspécifique, le status étant pour le reste dans les limites de la norme.
C. X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 22 février 2012. Il conclut à son acquittement du chef d'infraction de lésions corporelles simples et au rejet des prétentions civiles formées par A._, le tout avec suite de frais et dépens.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque l'arbitraire dans l'appréciation des preuves et l'établissement des faits ainsi que la violation du principe de la présomption d'innocence. Il en était résulté selon lui une violation de l'<ref-law>.
1. Le recourant invoque l'arbitraire dans l'appréciation des preuves et l'établissement des faits ainsi que la violation du principe de la présomption d'innocence. Il en était résulté selon lui une violation de l'<ref-law>.
1.1 1.1.1 L'<ref-law> réprime, sur plainte, le comportement de celui qui, intentionnellement, aura fait subir à une personne une autre atteinte à l'intégrité corporelle ou à la santé.
1.1.2 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire, cf. <ref-ruling> consid. 7. 1 p. 51). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). S'agissant de l'appréciation des preuves et de l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 4.2 p. 560).
Lorsque l'autorité cantonale a forgé sa conviction sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_992/2008 du 5 mars 2009 consid. 1.2).
Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 3.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5; <ref-ruling> c. 5.1 p. 365).
1.2 La cour cantonale a d'abord relevé que, même si les circonstances qui avaient précédé l'altercation n'étaient pas déterminantes, les déclarations du recourant à cet égard n'étaient pas fiables puisqu'elles n'étaient pas corroborées par celles du témoin B._. Ensuite, seul le témoin C._ avait observé l'entier de l'altercation. Celui-ci confirmait les dires de l'intimé, à savoir qu'un individu avait agressé ce dernier, l'avait propulsé sur une table et avait continué à le frapper alors qu'il se trouvait sur lui. Le fait que ce témoin connaît la mère de l'intimé n'affectait pas sa crédibilité, étant relevé qu'il avait été entendu par la police après avoir été rendu attentif aux conséquences d'un faux témoignage et qu'il avait confirmé ses dires devant la Juge d'instruction après avoir été assermenté comme témoin. La version des faits donnée par l'intimé était corroborée par les retranscriptions partielles des faits données par différents témoins. Selon D._, le recourant se trouvait sur l'intimé. Pour E._, le recourant était le principal protagoniste de la bagarre, motif pour lequel il l'avait éloigné. F._ a déclaré que l'intimé était couché, étourdi, alors que le recourant, très énervé, était retenu par quelqu'un d'autre. Selon G._, l'intimé était couché sur le dos et un tiers était sur lui. Pour H._, l'intimé était visiblement choqué. Tant ce dernier témoin que I._ ont constaté que plusieurs personnes avait tenté de maîtriser le recourant et que celui-ci était "reparti" vers l'intimé. Quant aux déclarations du recourant, elles étaient corroborées par celles d'un témoin. Leur valeur probante était toutefois limitée puisque leur auteur était le cousin de l'intéressé et qu'il avait été entendu à titre de renseignement. Ses déclarations étaient en outre contraires aux observations de tous les autres témoins.
1.3 Le recourant fait valoir qu'il avait invoqué en instance cantonale que les déclarations des témoins et personnes entendues à titre de renseignement ne corroboraient pas les déclarations de l'intimé, contrairement à ce que le premier juge avait considéré. L'autorité cantonale ne s'était pas prononcée sur ce grief et avait ainsi violé son droit d'être entendu.
1.3.1 La jurisprudence a déduit du droit d'être entendu consacré à l'art. 29 al. 2 Cst., le devoir pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Ce dernier est également consacré à l'<ref-law>. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision. Il n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (ATF <ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 3.3 p. 445). L'autorité peut passer sous silence ce qui, sans arbitraire, lui paraît à l'évidence non établi ou sans pertinence (<ref-ruling> consid. 3.2 p. 236; <ref-ruling> consid. p.102). Il n'y a ainsi violation du droit d'être entendu que si l'autorité ne satisfait pas à son devoir minimum d'examiner les problèmes pertinents (<ref-ruling> consid. 3.2 p. 236; <ref-ruling> consid. 2b p. 102 s. et les références).
1.3.2 A l'appui de son grief, le recourant reproduit un passage de son mémoire d'appel cantonal. Une telle citation indique tout au plus qu'il a soulevé devant l'autorité cantonale divers griefs à l'encontre de certains témoignages. Par ce procédé, le recourant ne démontre en revanche pas d'une manière conforme aux exigences de motivation de l'<ref-law> que l'autorité cantonale n'aurait pas examiné dans le cadre de son appréciation des preuves les problèmes pertinents et décisifs pour l'issue du litige. Le grief est irrecevable. Au demeurant, la cour cantonale a expliqué sur quels éléments elle se fondait pour retenir la culpabilité du recourant, ce qui permettait à ce dernier de comprendre les motifs sur lesquels reposait la décision et de la contester s'il l'estimait nécessaire.
1.4 Le recourant laisse entendre que la cour cantonale ne s'est fondée que sur des retranscriptions partielles des déclarations des témoins pour forger sa conviction.
Par la mention selon laquelle les retranscriptions des faits sont partielles, la cour cantonale entendait rappeler que les témoins entendus n'ont décrit qu'une partie de la bagarre puisque, comme elle l'indique, seul le témoin C._ a vu l'entier de celle-ci. Il ne peut en revanche être tiré de cette indication que la cour cantonale n'aurait pas pris en compte l'ensemble des moyens de preuve dont elle disposait. Le recourant n'indique d'ailleurs pas quels éléments auraient été omis et en quoi ils auraient été propres à modifier la décision attaquée, contrairement à son obligation de motivation résultant de l'<ref-law>. Le grief est rejeté dans la mesure où il est recevable.
1.5 Le recourant indique que la cour cantonale s'est fondée sur les déclarations du témoin G._, alors que le premier juge avait considéré que ses déclarations ne pouvaient être prises en compte en raison de ses relations proches avec l'intimé.
Le simple fait que le premier juge a écarté ces déclarations ne suffit toutefois pas encore, en l'absence de toute autre explication, pour démontrer que la cour cantonale aurait fait preuve d'arbitraire en s'y référant.
1.6 Le recourant fait valoir que l'autorité cantonale s'est fondée à tort sur le témoignage de C._.
1.6.1 Il invoque en premier lieu qu'il ressort des déclarations de celui-ci tant à la police qu'au Juge d'instruction qu'il n'était pas en mesure de reconnaître les personnes qui avaient agressé l'intimé.
Selon C._, un individu avait sauté sur l'intimé alors qu'il discutait avec B._, l'avait empoigné par le cou et avait continué à le frapper alors qu'il était couché. Un membre de la sécurité avait ensuite empoigné et ceinturé celui qui avait déclenché la bagarre.
Il ressort des déclarations des témoins I._, B._ ou H._ que la personne qui s'est faite empoigner par le service d'ordre était le recourant. Ainsi, quand bien même C._ n'a pas identifié le recourant, ses déclarations, mises en relation avec celles des autres témoins, permettaient à la cour cantonale de retenir sans arbitraire qu'il était bien la personne qui s'était précipitée sur l'intimé et lui avait donné des coups.
1.6.2 Le recourant indique également que ses déclarations ont été jugées peu crédibles au motif qu'elles divergeaient de celles du témoin B._. Les déclarations du témoin C._ ne se recoupaient toutefois pas non plus avec celles de ce témoin.
B._ a indiqué qu'elle avait discuté avec le recourant, puis que l'intimé était arrivé. Elle s'était ensuite trouvée de dos par rapport aux deux intéressés. Après deux minutes, elle avait entendu des bruits de verres cassés et de chaises. Elle s'était retournée et avait vu un attroupement de personnes et l'intervention de l'agent de sécurité qui avait empoigné le recourant.
Ce témoignage ne contredit pas celui de C._ sur les éléments déterminants, à savoir que le recourant avait sauté sur l'intimé, le saisissant par le cou, et l'avait frappé. Le recourant ne peut ainsi en tirer aucun argument pour remettre en cause la fiabilité du témoignage de C._ à cet égard.
1.7 En définitive, le recourant n'a pas démontré que la cour cantonale aurait fait preuve d'arbitraire en se fondant sur les déclarations des différents témoins dont il ressort qu'il s'est précipité sur l'intimé, l'a fait chuter et l'a frappé à divers endroits du corps.
Pour le surplus, le recourant ne conteste pas la réalisation des autres éléments constitutifs de l'infraction, en particulier le lien de causalité entre les coups qu'il a donnés et les lésions corporelles subies par l'intimé et médicalement constatées ou l'élément subjectif de l'infraction. La cour cantonale n'a dès lors pas violé le droit fédéral en reconnaissant le recourant coupable de lésions corporelles simples.
2. Le recourant invoque une violation des art. 32 et 33 CP, relatifs à l'indivisibilité de la plainte et au retrait de celle-ci. Il soutient que l'intimé a dirigé sa plainte contre trois individus et qu'il a retiré celle-ci à l'égard de l'un d'entre eux. Ce retrait aurait donc également dû lui profiter.
2.1 Aux termes de l'<ref-law>, si un ayant droit a porté plainte contre un des participants à l'infraction, tous les participants doivent être poursuivis. Le but de cette disposition est d'empêcher que le lésé puisse choisir arbitrairement de faire punir un participant à l'infraction à l'exclusion d'un autre (<ref-ruling> consid. 3/a/aa p. 151 s.; <ref-ruling> consid. 2 p. 2 s.; <ref-ruling> consid. 2 p. 275). Une plainte pénale déposée volontairement contre certains seulement des participants d'une infraction contient en soi une contradiction au regard du principe de l'indivisibilité et des conséquences de la violation de celui-ci. Dans une telle hypothèse, l'autorité doit informer le plaignant de ce que, conformément à la loi, tous les participants doivent être poursuivis ou aucun, et elle doit déterminer quelles sont ses intentions. Lorsqu'il est patent que le plaignant entend épargner ceux qui ne sont pas désignés dans la plainte, celle-ci doit être déclarée non valable (<ref-ruling> consid. 3a/bb p. 152 s.; arrêt 6B_185/2011 du 22 décembre 2011 consid. 5).
Le retrait de plainte constitue une déclaration de volonté. Même si celle-ci peut résulter d'actes concluants, la volonté de retirer la plainte doit être exprimée de manière non équivoque (<ref-ruling> consid. 3a p. 58; Christof Riedo, in: Basler Kommentar, Strafgesetzbuch I, 2ème éd., 2007, n. 6 ad <ref-law>). Selon l'<ref-law>, le retrait de la plainte à l'égard d'un des prévenus profite à tous les autres. Il ne doit pas être possible de contourner le principe de l'indivisibilité de l'<ref-law> par le biais d'une plainte contre tous les participants, puis d'un retrait à l'égard de certains. Le principe de l'indivisibilité s'applique également au retrait (<ref-ruling> consid. 3.3.1 p. 99 et les références citées et consid. 3.3.3 p. 101; arrêt 6B_510/2011 du 17 octobre 2011 consid. 2.3).
Déterminer la volonté réelle d'une partie manifestée dans une déclaration est une question de fait (<ref-ruling> consid. 2e/aa p. 379 et les arrêts cités), qui ne peut être revue par le Tribunal fédéral que sous l'angle de l'arbitraire. Si cette volonté réelle ne peut être établie, il convient de rechercher la volonté présumée en interprétant la déclaration selon le principe de la confiance, soit selon le sens que le destinataire peut et doit lui attribuer de bonne foi en fonction des circonstances. Il s'agit alors d'une question de droit que le Tribunal fédéral peut revoir librement (<ref-ruling> consid. 3a p. 253; <ref-ruling> consid. 2e/aa p. 379 et les arrêts cités). Pour trancher cette question de droit, il faut cependant se fonder sur le contenu de la déclaration et les circonstances, lesquelles relèvent du fait (<ref-ruling> consid. 2e/aa p. 379 s.; <ref-ruling> consid. 5a p. 368; <ref-ruling> consid. 3a p. 168).
2.2 La cour cantonale a constaté que l'intimé avait dirigé sa plainte pénale contre au moins trois individus et que dans le cadre de l'enquête, il avait notamment désigné J._. Après que les témoignages eurent retracé le déroulement des faits, sans impliquer ce dernier, l'intimé avait indiqué, le 27 juillet 2007, que J._ "n'avait pas à être accusé dans cette affaire". La cour cantonale a considéré à ce propos qu'il était normal qu'il ait, sinon adhéré aux témoignages, du moins considéré que le résultat de l'enquête ne permettait pas, du moins à première vue, d'établir la participation du précité. Il ne s'agissait pas pour l'intimé de favoriser J._. Le courrier du 27 juillet 2007 ne comportait nullement le mot "retrait" et on comprenait, d'après la formulation utilisée, qu'il s'agissait d'un simple avis sur le résultat d'une enquête de police, dont l'appréciation relevait de l'autorité de poursuite. Si le conseil de l'intimé, qui avait rédigé ce courrier, avait eu l'intention de retirer la plainte, ce professionnel aurait usé de termes clairs et non équivoques. Au surplus, la Juge d'instruction n'avait pas informé l'intimé du principe de l'indivisibilité de l'<ref-law> et déterminé ses intentions à réception du courrier. Enfin, la manière de procéder de l'intimé se comprenait par le fait qu'il s'exposait en vertu du droit de procédure cantonal au paiement de frais au cas où la Juge d'instruction poursuivait l'instruction contre J._ sans résultat pour le plaignant.
2.3 En l'espèce, la cour cantonale a interprété la déclaration de l'intimé en recherchant le sens que le destinataire pouvait et devait lui attribuer de bonne foi en fonction des circonstances, soit selon le principe de la confiance. Le Tribunal fédéral revoit cette question librement. Il ressort du courrier du 27 juillet 2007 de l'intimé que celui-ci fait part de sa propre appréciation quant aux témoignages recueillis dans le cadre de la procédure menée à la suite du dépôt de sa plainte. Il s'est ainsi exprimé sur le résultat des enquêtes, mais pas en revanche sur le sort qu'il convenait de réserver à sa plainte. Il ne ressort nullement dudit courrier que l'intimé exprimerait de manière non équivoque, comme l'exige la jurisprudence, sa volonté de retirer celle-ci en tant qu'elle vise J._. Le terme de retrait de plainte ne devait certes pas être formellement mentionné, mais le contenu du courrier devait permettre néanmoins de considérer que l'intimé exprimait sa volonté de procéder à un tel retrait. Tel n'est toutefois pas le cas en l'espèce. Enfin, le recourant ne peut tirer aucun argument de l'arrêt 132 IV 97 auquel il se réfère et qui admet dans le cas d'espèce l'application du principe de l'indivisibilité du retrait de la plainte. Cette décision porte sur un cas où, à la différence de l'intimé, un plaignant avait indiqué qu'il renonçait à introduire une procédure pénale contre l'une des personnes visées par sa plainte, puis avait évoqué le retrait de celle-ci à l'égard de cette personne. La cour cantonale n'a dès lors pas violé le droit fédéral en considérant que le courrier du 27 juillet 2007 ne constituait pas un retrait de plainte.
3. Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, la Juge de la Cour pénale II.
Lausanne, le 15 septembre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben