Faits:
A. A._ est le détenteur économique de la société Y._ à Genève. B._ a été administrateur de cette société de 2005 à juillet 2009. Un litige est survenu entre ces deux personnes au sujet de l'engagement et de la rémunération d'un employé transfrontalier. En juillet 2009, B._ a voulu le licencier, ce qui a fâché A._. Le 24 juillet 2009, ce dernier, sous le coup de la colère, s'est rendu dans les locaux où travaille B._ muni d'un rouleau de papier cadeau et l'a "engueulé et frappé sur l'épaule ou la tête avec ce rouleau de papier cadeau" (déclarations de A._ à la police du 6 juillet 2010). Immédiatement après les faits, B._ a démissionné de ses fonctions d'administrateur de Y._.
Le 29 mai 2010, B._ a déposé une plainte pénale contre A._ et contre X pour extorsion et chantage aggravé au sens de l'art. 156 al. 3 CP et voies de fait. Il faisait état de manoeuvres de harcèlement et de chantage effectuées par une personne engagée par A._ et mentionnait avoir été agressé par ce dernier à coups de bâton dans les locaux de son employeur, en présence de tiers, en juillet 2009. Par la suite, A._ n'avait cessé de le harceler et de le menacer au téléphone.
A._ a été entendu par la police le 6 juillet 2010. A cette occasion, il a relaté les contacts professionnels qu'il avait entretenus avec B._ et n'a pas caché que l'attitude de ce dernier par rapport à l'employé transfrontalier l'avait rendu furieux. Il a encore exposé qu'un litige financier persistait entre eux et a nié avoir proféré des menaces à son encontre ou engagé quelqu'un pour lui soutirer de l'argent.
Par décision du 9 août 2010, la plainte de B._ a été classée, aux motifs que le litige était de nature purement civile, que les menaces et l'extorsion n'avaient pas été établis et que le délai de plainte pour les voies de fait était échu lors du dépôt de la plainte. Cette décision, non contestée, est définitive.
B. Le 2 septembre 2010, A._ a déposé une plainte pénale en calomnie, diffamation et dénonciation calomnieuse contre B._. Par décision du 17 septembre 2010, notifiée le 19 janvier 2011, le Procureur général a classé la plainte.
A._ a porté sa cause devant la Chambre d'accusation du Tribunal cantonal du canton de Genève (ci-après: la Chambre d'accusation) qui, par ordonnance du 15 mars 2011, a rejeté son recours. Les juges cantonaux ont considéré en substance que les propos mis en cause soit étaient justifiés, soit ne résistaient pas à un bref examen ou étaient invérifiables, soit encore n'ont pas été tenus devant des tiers mais uniquement devant l'autorité. La prévention était dès lors insuffisante.
C. Agissant par la voie du recours en matière pénale et du recours constitutionnel subsidiaire, A._ demande au Tribunal fédéral d'annuler l'ordonnance de la Chambre d'accusation du 15 mars 2011 et la décision de classement du 17 septembre 2010 et d'ordonner au Ministère public du canton de Genève l'ouverture d'une instruction. Subsidiairement, il conclut au renvoi de la cause à la Chambre d'accusation pour nouvelle décision. Le recourant reproche aux juges cantonaux de n'avoir pas examiné si le contenu de la plainte pénale était constitutive d'une infraction et invoque la garantie de l'accès au juge (art. 29a Cst.).
La Chambre d'accusation se réfère aux considérants de son arrêt et n'a pas d'observations à formuler. Le Ministère public a produit son dossier sans prendre de conclusions. L'intimé conclut au rejet du recours.
Considérant en droit:
1. 1.1 Le recourant a formé, en un seul acte (art. 119 LTF), un recours en matière pénale et un recours constitutionnel subsidiaire. Le second étant irrecevable en cas de recevabilité du premier (art. 113 LTF), il convient d'examiner en priorité si la voie du recours en matière pénale est ouverte.
1.2 L'arrêt attaqué a été rendu le 15 mars 2011 de sorte que la qualité pour recourir doit s'examiner au regard de l'art. 81 LTF dans sa nouvelle teneur en vigueur depuis le 1er janvier 2011 (art. 132 al. 1 LTF; cf. arrêt 1B_219/2011 du 6 juillet 2011 et les références).
1.3 Aux termes de l'art. 81 al. 1 let. b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Il incombe au recourant de démontrer que cette condition est réalisée, conformément aux exigences de motivation déduites de l'art. 42 al. 1 LTF (cf. ATF 133 II 353 consid. 1 p. 356, 249 consid. 1.1 p. 251). En particulier, la partie plaignante qui n'a pas eu la possibilité de prendre des conclusions civiles doit indiquer quelles conclusions elle entendrait faire valoir et exposer en quoi la décision attaquée pourrait avoir une incidence négative sur le jugement de celles-ci, à moins que l'on puisse le discerner d'emblée et sans ambiguïté (ATF 127 IV 185 consid. 1a p. 187 et les arrêts cités). Une telle démonstration fait manifestement défaut en l'espèce et l'on ne voit pas d'emblée les prétentions civiles que le recourant pourrait éventuellement faire valoir, de sorte que la qualité pour agir ne saurait lui être reconnue sur la base de l'art. 81 al. 1 let. b ch. 5 LTF. La contestation ne portant pas sur le droit de porter plainte, il n'a pas non plus la qualité pour recourir en vertu de l'art. 81 al. 1 let. b ch. 6 LTF.
Selon la jurisprudence, le plaignant qui n'a pas la qualité pour recourir sur le fond peut seulement se plaindre d'une violation de droits que la loi de procédure applicable ou le droit constitutionnel lui reconnaît comme partie à la procédure, lorsque cette violation équivaut à un déni de justice formel, pour autant qu'il ne s'agisse pas de moyens ne pouvant être séparés du fond (ATF 136 IV 41 consid. 1.4 p. 44, 29 consid. 1.9 p. 40; 133 IV 228 consid. 2.3.2 p. 232 s. et les références citées). Le recourant est donc fondé à invoquer la garantie de l'accès au juge (art. 29a Cst.).
1.4 La voie du recours en matière pénale étant ouverte, le recours constitutionnel subsidiaire est irrecevable.
2. Le recourant invoque l'art. 29a Cst. Selon cette disposition, toute personne a droit à ce que sa cause soit jugée par une autorité judiciaire; la Confédération et les cantons peuvent toutefois, par la loi, exclure l'accès au juge dans des cas exceptionnels. En réalité, le recourant ne se plaint pas de n'avoir pu bénéficier d'un contrôle judiciaire. Il reproche plutôt à la Chambre d'accusation d'avoir commis un déni de justice formel (art. 29 al. 1 Cst.), n'ayant pas examiné si le contenu de sa plainte pénale était constitutive d'une infraction, en particulier si les faits reprochés à l'intimé relevaient de la diffamation.
En l'espèce, les juges cantonaux ont considéré que, même si les propos tenus par l'intimé avaient pu relever des infractions dénoncées par le recourant, l'absence d'impact négatif qu'elles ont eues sur sa situation, leur relative ancienneté et le fait qu'ils n'aient jamais été réitérés justifieraient que l'on renonçât à l'action pénale, en opportunité, ce d'autant qu'ils consistaient pour partie en une réaction à une infraction belle et bien commise par le recourant, nonobstant l'absence de poursuite. La Chambre d'accusation n'a dès lors manifestement pas commis un déni de justice en n'examinant pas plus avant le contenu de la plainte de l'intéressé. Pour le surplus, le recourant tente de remettre en cause la décision attaquée sur le fond. En tant que ses griefs reviennent à critiquer l'arrêt attaqué sur le plan matériel, ils sont toutefois irrecevables dans le cadre du présent recours (cf. consid. 1.3 ci-dessus).
3. Il résulte de ce qui précède que le recours en matière pénale doit être rejeté dans la mesure où il est recevable et que le recours constitutionnel subsidiaire est irrecevable. Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 65 et 66 LTF). Il n'y a pas lieu d'allouer de dépens à l'intimé qui n'en a pas fait la demande et qui s'est défendu sans l'assistance d'un avocat (cf. art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière pénale est rejeté dans la mesure où il est recevable.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, au Procureur général et à la Cour de justice du canton de Genève, Chambre pénale de recours.
Lausanne, le 20 juillet 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Aemisegger Mabillard