Faits:
A. Le 24 février 2010, X._ et A._ se sont insultés sur la voie publique à la suite d'une faute de circulation commise par l'épouse du premier nommé. Les deux protagonistes sont sortis de leur véhicule. X._ a porté un premier coup au visage d'A._ qui a chuté, puis il lui a encore assené deux autres coups, le dernier à la mâchoire alors qu'il était à terre et qu'un témoin, T._, tentait de les séparer. A._ a dû subir des soins à raison de plusieurs fractures dont l'une à la mâchoire et l'autre au nez, consécutives à cette altercation.
Par jugement du 1er février 2011, le Tribunal de police du canton de Genève a reconnu X._ coupable de lésions corporelles simples (<ref-law>) perpétrées dans un état de légitime défense excusable (<ref-law>) et l'a condamné à une peine de 30 jours-amende à 40 fr. l'un, avec sursis pendant 2 ans.
B. La Chambre pénale de la Cour de justice genevoise a rejeté l'appel formé par X._ aux termes d'un arrêt rendu le 16 août 2011. Elle a estimé que son comportement ne tombait pas sous le coup de la légitime défense. Les premiers juges l'avaient à tort mis au bénéfice de l'<ref-law> pour atténuer la peine. En raison de l'interdiction de la reformatio in pejus, elle ne pouvait que confirmer le jugement de première instance.
C. X._ interjette un recours en matière pénale au Tribunal fédéral. Il conclut à son acquittement, subsidiairement, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouveau jugement.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. 1.1 Dans le recours en matière pénale, les faits constatés par l'autorité précédente lient le Tribunal fédéral (<ref-law>), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit essentiellement de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen est invoqué et motivé par le recourant (<ref-law>; <ref-ruling> consid. 4.2.3 p. 5, 136 I 65 consid. 1.3.1 p. 68). Le recourant qui se plaint d'arbitraire doit démontrer, par une argumentation claire et détaillée, que cette décision se fonde sur une constatation des faits ou une appréciation des preuves insoutenable (<ref-ruling> consid. 3.2 p. 400). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5; <ref-ruling> consid. 5.1 p. 356).
1.2 La cour cantonale a tenu pour établi, à l'instar du Tribunal de police, que si, dans la version la plus favorable pour le recourant, il y avait lieu d'admettre que l'intimé l'avait provoqué, aucun élément ne démontrait que l'intimé entendait lui causer des lésions corporelles ou qu'il aurait tenté de le faire. Il ressortait du témoignage de T._, comme d'ailleurs des déclarations du recourant, que l'intimé n'avait fait physiquement que l'agripper.
1.2.1 Le recourant reproche à la cour cantonale d'avoir ignoré le témoignage de son épouse et la déclaration de plainte de l'intimé, lesquels démontraient que, après avoir reçu le premier coup, l'intimé revenait systématiquement à la charge. En omettant ces éléments, les faits avaient été établis arbitrairement.
1.2.2 En l'espèce, le recourant oublie que les déclarations de son épouse n'ont en définitive pas été prises en considération en raison de son lien familial avec le recourant et du fait qu'elle semblait avoir été passablement bouleversée par l'altercation (jugement de première instance, consid. 1b, p. 6/7). Le recourant ne prétend pas que cette appréciation serait arbitraire. Quant aux passages de la déclaration de plainte dont il se prévaut, ils ne contiennent pas l'affirmation que l'intimé se serait précipité sur lui après chaque coup qu'il lui aurait infligé. Il s'avère au contraire que l'intimé est tombé à terre dès le premier coup et que, selon ce dernier, le recourant n'a pas attendu qu'il se relève pour le frapper à nouveau. Le recourant admet du reste lui-même que l'intimé a chuté à deux reprises sous l'effet des deux premiers coups. Finalement, le fait que l'intimé a déclaré s'être relevé pour aller vers lui lorsque le témoin est arrivé ne signifie pas pour autant que celui-ci comptait l'attaquer.
Le recourant fait encore valoir que sa femme avait demandé à l'intimé, une fois l'altercation terminée, de ne plus s'approcher, ce à quoi celui-ci avait répondu qu'il ne s'approcherait pas, mais qu'il fallait impérativement que le recourant reste sur les lieux jusqu'à l'intervention de la police. Une telle constatation ne permet pas encore de retenir que cette discussion faisait suite à une nouvelle tentative d'attaque de la part de l'intimé, comme tend à le soutenir le recourant. Le grief est rejeté autant qu'il est recevable.
2. Le recourant reproche à l'autorité cantonale d'avoir méconnu, en violation de l'<ref-law>, qu'il a agi en état de légitime défense lorsqu'il a frappé l'intimé.
2.1 Selon cette disposition, quiconque, de manière contraire au droit, est attaqué ou menacé d'une attaque imminente a le droit de repousser l'attaque par des moyens proportionnés aux circonstances.
La légitime défense suppose une attaque, c'est-à-dire un comportement visant à porter atteinte à un bien juridiquement protégé, ou la menace d'une attaque, soit le risque que l'atteinte se réalise. Il doit s'agir d'une attaque actuelle ou à tout le moins imminente, ce qui implique que l'atteinte soit effective ou qu'elle menace de se produire incessamment (<ref-ruling> consid. 2a p. 14; <ref-ruling> consid. c p. 236 s.). Une attaque n'est cependant pas achevée aussi longtemps que le risque d'une nouvelle atteinte ou d'une aggravation de celle-ci par l'assaillant reste imminent (<ref-ruling> consid. 2b p. 4 s.). S'agissant en particulier de la menace d'une attaque imminente contre la vie ou l'intégrité corporelle, celui qui est visé n'a évidemment pas à attendre jusqu'à ce qu'il soit trop tard pour se défendre; il faut toutefois que des signes concrets annonçant un danger incitent à la défense. La seule perspective qu'une querelle pourrait aboutir à des voies de fait ne suffit pas. Par ailleurs, l'acte de celui qui est attaqué ou menacé de l'être doit tendre à la défense. Un comportement visant à se venger ou à punir ne relève pas de la légitime défense; il en va de même du comportement qui tend à prévenir une attaque certes possible mais encore incertaine, c'est-à-dire à neutraliser l'adversaire selon le principe que la meilleure défense est l'attaque (<ref-ruling>, p. 83).
La défense doit apparaître proportionnée au regard de l'ensemble des circonstances. A cet égard, on doit notamment examiner la gravité de l'attaque, les biens juridiques menacés par celle-ci et par les moyens de défense, la nature de ces derniers ainsi que l'usage concret qui en a été fait. La proportionnalité des moyens de défense se détermine d'après la situation de celui qui voulait repousser l'attaque au moment où il a agi. Les autorités judiciaires ne doivent pas se livrer à des raisonnements a posteriori trop subtils pour déterminer si l'auteur des mesures de défense n'aurait pas pu ou dû se contenter d'avoir recours à des moyens différents, moins dommageables. Il est aussi indispensable de mettre en balance les biens juridiquement protégés qui sont menacés de part et d'autre. Encore faut-il que le résultat de cette pesée des dangers en présence soit reconnaissable sans peine par celui qui veut repousser l'attaque, l'expérience enseignant qu'il doit réagir rapidement (<ref-ruling> consid. 3.2 p. 51 s.; <ref-ruling> consid. 3 p. 15; <ref-ruling> consid. 2a p. 68).
2.2 Le recourant considère que la condition de l'attaque imminente est réalisée, l'instruction de la cause ayant permis d'établir que l'intimé, après être sorti de son véhicule, s'était dirigé vers lui et l'avait agrippé à la hauteur du cou tout en l'insultant. Ce geste représentait un indice concret que l'intimé s'apprêtait à porter atteinte à son intégrité corporelle. Nier, dans ces circonstances, qu'il était exposé à une attaque imminente reviendrait à contraindre toute personne agressée à attendre qu'il soit trop tard pour être légitimée à se défendre.
Il ressort des constatations du premier jugement auquel la cour cantonale se réfère, que l'intimé, qui avait déjà été frappé à deux reprises, s'était agrippé au vêtement du recourant lorsque le témoin est intervenu. En revanche, il n'a pas été constaté que le recourant avait été saisi au cou par l'intimé dès le début de l'altercation comme il le soutient. Les premiers juges n'ont pas tenu ce fait pour établi au motif que les versions des parties divergeaient sur le déroulement exact de l'altercation et que, par ailleurs, le témoin n'avait pas assisté au début de la dispute. Le recourant ne critique pas ces constatations, qui lient la cour de céans (<ref-law>), conformément aux exigences accrues de motivation (<ref-law>), se bornant à exposer sa propre version des faits. Par ailleurs, on ne discerne aucun signe concret dans les constatations cantonales indiquant que l'intimé entendait l'attaquer et celui-ci ne le motive pas. Au demeurant, même si le recourant avait été agrippé au col, comme il le soutient, cette seule circonstance ne suffit pas à établir l'intention de le frapper ou de le blesser. L'autorité cantonale était donc fondée à retenir que le recourant n'avait pas été l'objet d'une attaque actuelle ou imminente et que les conditions de la légitime défense (<ref-law>) n'entraient ainsi pas en considération.
2.3 Le recourant reproche à la cour cantonale de ne pas avoir examiné s'il avait usé de moyens proportionnés aux circonstances pour se défendre et partant d'avoir violé le droit fédéral.
Compte tenu de ce qui précède (consid. 2.2), cette critique tombe à faux. La décision attaquée expose que les premiers juges ont retenu à tort un état de légitime défense excusable, faute de l'existence préalable d'une attaque. L'application de l'<ref-law> nécessitant la réalisation de plusieurs conditions cumulatives, l'autorité cantonale était autorisée à ne pas se prononcer sur la question de la proportionnalité des moyens employés par le recourant, cette question se révélant à l'évidence sans pertinence.
2.4 Au vu de ce qui précède, la décision attaquée ne viole pas le droit fédéral en tant qu'elle admet que le recourant n'a pas agi en état de légitime défense tout en le laissant au profit de l'application de l'<ref-law> en vertu de l'interdiction de reformatio in pejus.
3. Le recourant, qui succombe, supportera les frais de justice (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 19 mars 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben