Faits:
A. Le 13 décembre 2009 à 5 h 30, A._ circulait à vélo lorsque X._ l'a agressé. Celui-ci lui a asséné un "coup de boule", a piétiné son vélo puis lui a donné des coups de poing à la tête et sur le corps, des coups de pied à la jambe droite et des coups de genou au niveau des reins. A._ a reçu plus d'une soixantaine de coups sur le corps, a souffert de nombreuses blessures et s'est trouvé en incapacité de travail jusqu'au 28 décembre 2009. Interpellé par la police une heure après les faits, X._ présentait une alcoolémie de 1.97 o/oo mais ne vacillait pas sur ses jambes, s'exprimait aisément et se souvenait des détails de la soirée. Une pleine responsabilité a été retenue.
B. Par jugement du 2 septembre 2011, le Tribunal de police du canton de Genève a condamné X._, pour lésions corporelles simples et dommages à la propriété, à une peine privative de liberté de 2 mois.
Statuant sur l'appel de X._, la Chambre pénale d'appel et de révision de la Cour de justice genevoise l'a rejeté par arrêt du 2 janvier 2012.
C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt et conclut, sous suite de dépens, à sa réforme en ce sens qu'il est condamné à une peine pécuniaire de 60 jours, respectivement à un travail d'intérêt général de 240 heures.
La Chambre pénale d'appel et de révision a déclaré n'avoir pas d'observations à formuler et le Ministère public ne s'est pas déterminé.

Considérant en droit:
1. D'après l'<ref-law>, les mémoires de recours doivent être rédigés dans une langue officielle. Selon l'<ref-law>, la procédure devant le Tribunal fédéral est conduite dans l'une des langues officielles (allemand, français, italien, rumantsch grischun), en règle générale dans la langue de la décision attaquée. Le recourant peut rédiger le mémoire de recours dans la langue (officielle) de son choix, qui ne doit pas nécessairement correspondre à celle de la procédure devant le Tribunal de céans. En l'occurrence, le recourant a entrepris l'arrêt du 2 janvier 2012, rendu en langue française, à l'aide d'un mémoire rédigé en allemand. Ainsi qu'il vient d'être dit, ce procédé est admissible. La langue de la procédure est toutefois le français et la présente décision sera rendue dans cette langue.
2. Se plaignant d'une violation de l'<ref-law>, le recourant considère que la cour cantonale lui a infligé à tort une peine privative de liberté ferme d'une durée inférieure à six mois en lieu et place d'une peine pécuniaire ou d'un travail d'intérêt général. Il se plaint aussi d'une motivation insuffisante.
2.1 Aux termes de l'<ref-law>, le juge peut prononcer une peine privative de liberté ferme de moins de six mois uniquement si les conditions du sursis à l'exécution de la peine (art. 42) ne sont pas réunies et s'il y a lieu d'admettre que ni une peine pécuniaire, ni un travail d'intérêt général ne peuvent être exécutés.
A titre de sanctions, le nouveau droit fait de la peine pécuniaire (<ref-law>) et du travail d'intérêt général (<ref-law>) la règle dans le domaine de la petite criminalité, respectivement de la peine pécuniaire et de la peine privative de liberté la règle pour la criminalité moyenne. Dans la conception de la nouvelle partie générale du Code pénal, la peine pécuniaire constitue la sanction principale. Les peines privatives de liberté ne doivent être prononcées que lorsque l'Etat ne peut garantir d'une autre manière la sécurité publique. Quant au travail d'intérêt général, il suppose l'accord de l'auteur. En vertu du principe de la proportionnalité, il y a en règle générale lieu, lorsque plusieurs peines entrent en considération et apparaissent sanctionner de manière équivalente la faute, de choisir celle qui restreint le moins sévèrement la liberté personnelle de l'intéressé, respectivement qui le touche le moins durement. La peine pécuniaire et le travail d'intérêt général représentent des atteintes moins importantes et constituent ainsi des peines plus clémentes. Cela résulte également de l'intention essentielle, qui était au coeur de la révision de la partie générale du Code pénal en matière de sanction, d'éviter les courtes peines de prison ou d'arrêt, qui font obstacle à la socialisation de l'auteur, et de leur substituer d'autres sanctions. Pour choisir la nature de la peine, le juge doit prendre en considération l'opportunité de la sanction déterminée, ses effets sur l'auteur et son milieu social, ainsi que son efficacité préventive (<ref-ruling> consid. 4 p. 100 ss; arrêt 6B_128/2011 du 14 juin 2011 consid. 3.1).
2.2 Au regard des trois condamnations antérieures dont le recourant avait fait l'objet, la cour cantonale a considéré que seul un pronostic défavorable pouvait être posé et que, par conséquent, un sursis au sens de l'<ref-law> était exclu. Le recourant ne remet pas en cause cette approche. En revanche, il est d'avis que la cour cantonale a omis d'examiner la seconde condition posée par l'<ref-law>, soit de déterminer si une peine pécuniaire, respectivement un travail d'intérêt général, peuvent être exécutés.
2.3 Comme l'a relevé la cour cantonale, les condamnations antérieures du recourant ne concernent pas des infractions de même nature que celles de la présente cause, mais attestent un mépris des règles et une absence de considération pour l'intégrité corporelle d'autrui. La plupart des infractions commises par le recourant l'ont été sous l'emprise de l'alcool, de sorte qu'il n'a pas pris conscience de la dangerosité de son comportement dans cet état (cf. arrêt p. 11). La dernière condamnation date du 19 mars 2008. Le recourant a été condamné à une peine de 60 jours-amende à 90 francs (cf. arrêt p. 7). Cette condamnation ferme n'a pas eu d'effet dissuasif. Dans ces conditions, on peut considérer qu'une peine pécuniaire ferme est dénuée de toute efficacité et peut être exclue. Les critiques du recourant à cet égard sont infondées.
2.4 Il reste donc l'option entre un travail d'intérêt général et une peine privative de liberté ferme de moins de six mois (cf. arrêt 6B_128/2011 du 14 juin 2011 consid. 3.5).
Aux termes de l'<ref-law>, à la place d'une peine privative de liberté de moins de six mois ou d'une peine pécuniaire de 180 jours-amende au plus, le juge peut ordonner, avec l'accord de l'auteur, un travail d'intérêt général de 720 heures au plus (al. 1). Le travail d'intérêt général doit être accompli au profit d'institutions sociales, d'oeuvres d'utilité publique ou de personnes dans le besoin. Il n'est pas rémunéré (al. 2). L'<ref-law> précise que l'autorité d'exécution fixe au condamné un délai de deux ans au plus pour accomplir le travail d'intérêt général. Ainsi, toute personne dont la culpabilité justifierait une condamnation à six mois de privation de liberté ou à 180 jours-amende au plus peut en principe être condamnée, si elle accepte ce genre de peine et s'il n'est pas nécessaire de prononcer une peine privative de liberté ferme, à fournir un travail d'intérêt général (<ref-ruling> consid. 6.3.3.2 p. 107 s.). Cette peine tend à favoriser, à des fins de prévention spéciale, le maintien de l'auteur dans son milieu social, en le faisant compenser l'infraction par une prestation personnelle en faveur de la communauté plutôt que par une privation de liberté ou une peine pécuniaire (<ref-ruling> consid. 6.3.2 p. 107). Bien que le texte légal ne prévoie aucune cause d'exclusion tenant à la personne de l'auteur, seule peut être condamnée à fournir un travail d'intérêt général une personne apte au travail (<ref-ruling> consid. 6.3.3.3 p. 109).
En instance cantonale, le recourant a conclu à sa libération et, subsidiairement, a notamment sollicité le prononcé d'un travail d'intérêt général (cf. arrêt p. 6). Il a par conséquent donné son accord, condition prévue à l'<ref-law>.
La cour cantonale s'est contentée de dire qu'elle avait acquis la conviction que seule une peine privative de liberté ferme était susceptible de détourner le recourant de la commission de nouvelles infractions (cf. arrêt p. 11/12). Elle n'a pas exposé pour quelle raison un travail d'intérêt général n'entrait pas en ligne de compte dans la situation du recourant, lequel apparaît apte au travail dès lors qu'il est actif professionnellement (cf. arrêt p. 6 in fine). Cette absence de motivation ne permet pas de distinguer comment le droit fédéral a été appliqué. La cour de céans ne saurait se substituer à l'appréciation de la cour cantonale. Le recours doit être admis sur ce point et la cause renvoyée à l'autorité cantonale, à qui il incombera d'examiner si un travail d'intérêt général pourrait avoir un effet dissuasif suffisant, qui justifierait de ne pas prononcer une courte peine privative de liberté.
3. Le recourant obtient partiellement gain de cause. Vu l'issue de la cause, il supporte une part des frais judiciaires (<ref-law>) et peut prétendre à une indemnité réduite de dépens à la charge du canton de Genève (art. 68 al. 1 et 2 LTF).
Dès lors que l'aspect litigieux concernait uniquement la peine, seul le ministère public et la cour cantonale ont été invités à se déterminer, l'intimé A._ n'ayant pas d'intérêt à pouvoir se déterminer à cet égard.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision au sens des considérants.
2. La part des frais judiciaires mise à la charge du recourant est arrêtée à 1'000 fr., le solde demeurant à la charge de l'Etat.
3. Une indemnité de 1'000 fr., à verser au recourant à tire de dépens, est mise à la charge du canton de Genève.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 22 juin 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet