Faits: A. A._ est le détenteur économique de la société Y._ à Genève. B._ a été administrateur de cette société de 2005 à juillet 2009. Un litige est survenu entre ces deux personnes au sujet de l'engagement et de la rémunération d'un employé transfrontalier. En juillet 2009, B._ a voulu le licencier, ce qui a fâché A._. Le 24 juillet 2009, ce dernier, sous le coup de la colère, s'est rendu dans les locaux où travaille B._ muni d'un rouleau de papier cadeau et l'a "engueulé et frappé sur l'épaule ou la tête avec ce rouleau de papier cadeau" (déclarations de A._ à la police du 6 juillet 2010). Immédiatement après les faits, B._ a démissionné de ses fonctions d'administrateur de Y._. Le 29 mai 2010, B._ a déposé une plainte pénale contre A._ et contre X pour extorsion et chantage aggravé au sens de l'art. 156 al. 3 CP et voies de fait. Il faisait état de manoeuvres de harcèlement et de chantage effectuées par une personne engagée par A._ et mentionnait avoir été agressé par ce dernier à coups de bâton dans les locaux de son employeur, en présence de tiers, en juillet 2009. Par la suite, A._ n'avait cessé de le harceler et de le menacer au téléphone. A._ a été entendu par la police le 6 juillet 2010. A cette occasion, il a relaté les contacts professionnels qu'il avait entretenus avec B._ et n'a pas caché que l'attitude de ce dernier par rapport à l'employé transfrontalier l'avait rendu furieux. Il a encore exposé qu'un litige financier persistait entre eux et a nié avoir proféré des menaces à son encontre ou engagé quelqu'un pour lui soutirer de l'argent. Par décision du 9 août 2010, la plainte de B._ a été classée, aux motifs que le litige était de nature purement civile, que les menaces et l'extorsion n'avaient pas été établis et que le délai de plainte pour les voies de fait était échu lors du dépôt de la plainte. Cette décision, non contestée, est définitive. B. Le 2 septembre 2010, A._ a déposé une plainte pénale en calomnie, diffamation et dénonciation calomnieuse contre B._. Par décision du 17 septembre 2010, notifiée le 19 janvier 2011, le Procureur général a classé la plainte. A._ a porté sa cause devant la Chambre d'accusation du Tribunal cantonal du canton de Genève (ci-après: la Chambre d'accusation) qui, par ordonnance du 15 mars 2011, a rejeté son recours. Les juges cantonaux ont considéré en substance que les propos mis en cause soit étaient justifiés, soit ne résistaient pas à un bref examen ou étaient invérifiables, soit encore n'ont pas été tenus devant des tiers mais uniquement devant l'autorité. La prévention était dès lors insuffisante. C. Agissant par la voie du recours en matière pénale et du recours constitutionnel subsidiaire, A._ demande au Tribunal fédéral d'annuler l'ordonnance de la Chambre d'accusation du 15 mars 2011 et la décision de classement du 17 septembre 2010 et d'ordonner au Ministère public du canton de Genève l'ouverture d'une instruction. Subsidiairement, il conclut au renvoi de la cause à la Chambre d'accusation pour nouvelle décision. Le recourant reproche aux juges cantonaux de n'avoir pas examiné si le contenu de la plainte pénale était constitutive d'une infraction et invoque la garantie de l'accès au juge (art. 29a Cst.). La Chambre d'accusation se réfère aux considérants de son arrêt et n'a pas d'observations à formuler. Le Ministère public a produit son dossier sans prendre de conclusions. L'intimé conclut au rejet du recours.