Faits: A. Le 13 janvier 2007 vers 2h du matin, A._, B._, C._ et D._ discutaient devant la porte d'accès d'une galerie marchande. X._ et Y._ sont passés près d'eux. Interpellés par A._ et B._, X._ et Y._ se sont arrêtés et il y a eu une altercation avec échange d'insultes entre les quatre jeunes gens. Y._ a saisi A._ par le cou, l'a poussée dans l'angle d'un bâtiment, l'a griffée et giflée à deux reprises. X._ s'est approché des deux filles et a frappé d'un coup de pied la cuisse de A._. B._ a alors tenté de s'interposer. X._ l'a expédié sur le capot d'une voiture, puis au sol, de deux coups de poing au visage. Alors que B._, inconscient, se trouvait à terre, X._ l'a frappé à coups de pied. Le bruit de la bagarre ayant alerté des jeunes qui se trouvaient à proximité, certains d'entre eux se sont dirigés vers le centre commercial et ont asséné de nombreux coups à A._ et à B._. X._ a continué à frapper B._ qui gisait à terre, toujours inconscient. Suite à ces événements, B._ a dû bénéficier de soins ambulatoires et s'est trouvé dans l'incapacité de travailler du 13 janvier au 5 février 2007. A._ présentait un traumatisme facial sévère. Elle a dû subir une intervention chirurgicale de plus de huit heures et a été hospitalisée pendant trois semaines. Une autre opération pour un problème de canal lacrymal bouché, qui lui occasionne de fréquentes infections, n'a pas pu être réalisée car elle était trop risquée. B. Par arrêt du 2 septembre 2009, le Tribunal du IIIème arrondissement pour le district de Monthey a condamné X._ pour rixe (art. 133 al. 1 CP) et contraventions à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (art. 19a ch. 1 LStup; RS 812.121) à une peine privative de liberté de 12 mois, sous déduction de la détention avant jugement subie du 13 janvier 2007 au 14 mars 2007 (art. 51 CP), ainsi qu'à 300 fr. d'amende (peine de substitution de 3 jours de privation de liberté). Ce jugement a également révoqué le sursis à la peine de 20 jours d'emprisonnement accordé le 31 août 2005 par le juge d'instruction du Bas-Valais. C. La Cour pénale II du Tribunal cantonal du Valais a, le 11 juin 2011, réformé le jugement de première instance en ce sens que X._ a été condamné à une peine privative de liberté de onze mois. D. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme en ce sens que la peine privative de liberté de 11 mois soit atténuée et assortie du sursis. A titre subsidiaire, il demande que la peine soit assortie du sursis. Plus subsidiairement encore, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale, notamment après avoir ordonné une réactualisation de l'expertise psychiatrique du 25 janvier 2007. Il n'a pas été ordonné d'échange d'écritures.