Faits:
A. Par jugement du 10 mars 2010, le Tribunal de police du canton de Genève a reconnu X._ coupable de diffamation (<ref-law>) et l'a condamné à la peine pécuniaire de 30 jours-amende, à 100 fr. le jour, avec sursis et délai d'épreuve de 3 ans, ainsi qu'à une amende de 500 fr.
B. Par arrêt du 14 février 2011, la Chambre pénale de la Cour de justice genevoise a en substance partiellement admis l'appel de X._, l'a uniquement condamné à une peine pécuniaire de 20 jours-amende, à 100 fr. le jour, avec sursis et délai d'épreuve de 3 ans.
Il est en particulier reproché à X._ d'avoir le 12 mai 2009 dit ce qui suit à ses beaux-parents: "vous n'avez pas honte d'avoir une fille comme vous avez, c'est une pute, c'est une pute, elle fait des partouzes avec ses copines".
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut à son annulation et à ce qu'il soit libéré de l'infraction de diffamation, subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit:
1. Le recourant se plaint d'arbitraire et invoque une violation du principe "in dubio pro reo".
1.1 Tels qu'ils sont motivés, ces deux griefs n'ont pas en l'espèce de portée distincte. A l'appui de l'un comme de l'autre, le recourant fait valoir que les faits retenus l'ont été ensuite d'une appréciation arbitraire des preuves. Cette dernière notion a notamment été rappelée dans les arrêts publiés aux <ref-ruling> consid. 4.2 p. 560 et 135 V 2 consid. 1.3 p. 4 et 5, auxquels il suffit de renvoyer. Pour être recevable, le grief d'arbitraire, qui revient à invoquer une violation de l'art. 9 Cst., doit être motivé conformément aux exigences de l'<ref-law> (cf. <ref-ruling> consid. 2.8 p. 494).
1.2 La cour cantonale a considéré comme crédible le témoignage du beau-père du recourant, qui avait fait preuve de retenue lors de son audition par les gendarmes et le Tribunal de police. Elle a ajouté que la version du recourant avait quant à elle évolué après son audition par la gendarmerie. Il avait en effet déclaré devant le Tribunal de police que lors de la discussion litigieuse, son beau-père lui avait reproché de traiter son épouse de prostituée ("pute") - le recourant reconnaissant par là-même que le terme incriminé avait été utilisé par l'un des protagonistes -, alors qu'il n'en avait pas fait mention à la gendarmerie.
1.3 Le recourant conteste la prise en compte des déclarations de son beau-père. Il se réfère à un arrêt 6B_749/2009 du 17 septembre 2009. Cet arrêt n'a cependant pas la portée que le recourant lui prête. Le Tribunal fédéral y a jugé que l'appréciation anticipée des déclarations d'un témoin à laquelle s'était livrée l'instance précédente échappait au grief d'arbitraire dès lors qu'il n'était pas insoutenable de considérer comme insuffisamment probantes les déclarations d'un témoin unique qui se trouvait être un ami très proche de la partie et alors qu'aucun autre élément du dossier ne venait corroborer les dires de celle-ci. Contrairement à ce que laisse entendre le recourant, il ne saurait être question de déduire a contrario de cet arrêt que la prise en compte du témoignage d'un proche serait en soi arbitraire. En l'espèce, la cour cantonale a exposé pour quels motifs elle accordait de la crédibilité aux déclarations du beau-père du recourant. On ne saurait y voir une appréciation arbitraire des preuves. En outre, comme l'a relevé la cour cantonale, il ressort du procès-verbal de l'audience du Tribunal de police que le recourant a admis l'évocation du terme "pute" lors de la discussion litigieuse, ce qu'il n'avait pas dit lors de son audition par la police. Même s'il n'a de la sorte pas admis les faits litigieux mais uniquement fait état d'un reproche que lui faisait son beau-père, l'évolution des déclarations depuis l'audition par la police pouvait constituer un indice pertinent pour accréditer la version des faits retenue. L'appréciation des preuves ne saurait être taxée d'arbitraire.
2. Le recours doit ainsi être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre pénale.
Lausanne, le 17 mai 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Mathys Cherpillod