Faits: A. Le 20 novembre 2009 à 16h37, X._ circulait au volant de sa voiture à la rue Klébert en direction de la rue du Mont-Blanc, à Genève. Il a totalement perdu la maîtrise de son véhicule en ne parvenant pas à s'arrêter derrière le véhicule qui le précédait, en bifurquant brusquement à droite, heurtant ainsi A._ qui circulait à vélo. Celui-ci, alors âgé de 29 ans, a subi de multiples fractures qui ont nécessité plusieurs mois d'hospitalisation, près d'un an et demi d'incapacité totale de travail, de nombreuses interventions chirurgicales et des séquelles physiques et psychiques. B. Par jugement du 19 octobre 2010, le Tribunal de police du canton de Genève a reconnu X._ coupable de lésions corporelles graves par négligence (art. 125 al. 2 CP), l'a condamné à 240 jours-amende à 120 fr. le jour, avec sursis durant 3 ans, ainsi qu'à une amende de 5'760 fr., la peine de substitution étant fixée à 48 jours. Le tribunal a condamné X._ à verser à A._ 5'790 fr. 20 et 700 fr. à titre de réparation partielle de son dommage matériel et 100'000 fr. à titre de réparation du tort moral, le tout avec intérêt à 5 % l'an dès le 20 novembre 2009 et a réservé les droits civils pour le surplus. Il a en outre accordé à A._ 33'079 fr. 60 et 860 fr. 90 à titre de dépens. C. Par arrêt du 16 juin 2011, la Chambre pénale de la Cour de justice genevoise a partiellement admis l'appel de X._, a ramené l'indemnité pour tort moral à 60'000 fr. avec intérêt à 5 % l'an dès le 20 novembre 2009, a confirmé le jugement pour le surplus et a accordé à A._ des dépens d'appel par 15'297 fr. 55 et 2'776 fr. 70. D. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, sous suite de dépens, à l'annulation de l'arrêt en tant qu'il concerne l'indemnité pour tort moral et les dépens alloués en première et deuxième instance et à ce que l'intimé soit débouté de ses conclusions civiles. Des déterminations n'ont pas été requises.