Faits: A. Par jugement du 10 mars 2010, le Tribunal de police du canton de Genève a reconnu X._ coupable de diffamation (art. 173 CP) et l'a condamné à la peine pécuniaire de 30 jours-amende, à 100 fr. le jour, avec sursis et délai d'épreuve de 3 ans, ainsi qu'à une amende de 500 fr. B. Par arrêt du 14 février 2011, la Chambre pénale de la Cour de justice genevoise a en substance partiellement admis l'appel de X._, l'a uniquement condamné à une peine pécuniaire de 20 jours-amende, à 100 fr. le jour, avec sursis et délai d'épreuve de 3 ans. Il est en particulier reproché à X._ d'avoir le 12 mai 2009 dit ce qui suit à ses beaux-parents: "vous n'avez pas honte d'avoir une fille comme vous avez, c'est une pute, c'est une pute, elle fait des partouzes avec ses copines". C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut à son annulation et à ce qu'il soit libéré de l'infraction de diffamation, subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle décision.