Da Bundesgericht zieht in Erwägung:
1. Am 15. Juni 2007 erhob der juristische Berater A._ gegen Rechtsanwalt X._ Anklage wegen Ehrverletzung. Gegenstand bildete ein von X._ für einen Mandanten in italienischer Sprache verfasstes Schreiben vom 27. März 2007, welches an A._ gerichtet war und in Kopie an den Mandanten sowie an die italienische Botschaft in Bern und das italienische Konsulat in Zürich ging. In dem Schreiben warf X._ A._ eine inkompetente Prozessführung in einem Gerichtsfall in Italien vor, der den Mandanten von X._ betraf, sowie Anmassung des Rechtsanwaltstitels und Urkundenfälschung.
Am 11. Mai 2011 liess das Bezirksgericht Zürich die Anklage definitiv nicht zu, weil die Verfolgungsverjährung eingetreten war. Die Kosten wurden A._ auferlegt, und dieser wurde verpflichtet, X._ eine Prozessentschädigung von Fr. 13'564.-- zu bezahlen.
Gegen die Kosten- und Entschädigungsregelung erhob A._ kantonale Beschwerde. Das Obergericht des Kantons Zürich hiess das Rechtsmittel am 27. Januar 2012 gut. Es auferlegte die Kosten X._ und verpflichtet diesen, A._ eine Prozessentschädigung von Fr. 17'226.40 zu bezahlen.
X._ wendet sich mit Beschwerde ans Bundesgericht und beantragt, es seien der Entscheid des Obergerichts vom 27. Januar 2012 aufzuheben und die Verfügung des Bezirksgerichts vom 11. Mai 2011 zu bestätigen.
2. 2.1 In Anwendung von <ref-law> kann auf die Ausführungen der Vorinstanz verwiesen werden (vgl. angefochtenen Entscheid S. 4 - 15).
Der Beschwerdeführer erklärte die Zustellung des Schreibens an das italienische Konsulat in Zürich und die italienische Botschaft in Bern damit, dass aufgrund des öffentlichen Auftretens des Beschwerdegegners auf die Missstände habe hingewiesen werden müssen. Der Beschwerdegegner wies demgegenüber auf seine geschäftlichen Beziehungen zu den italienischen Vertretungen in der Schweiz hin und machte geltend, es sei dem Beschwerdeführer nur darum gegangen, diese zu zerstören und dadurch sein berufliches Fortkommen zu behindern. Die Vorinstanz geht bei der Prüfung dieser Frage davon aus, dass das italienische Konsulat und die italienische Botschaft ein Interesse daran gehabt hätten "zu erfahren, falls sich (der Beschwerdegegner) ihnen gegenüber fälschlicherweise als Rechtsanwalt ausgegeben hätte". Auch bestehe "ein gewisses Interesse des Klienten informiert zu werden, falls ein Rechtsanwalt seinen Beruf und seine Berufspflichten nicht gewissenhaft ausübt". Vorliegend sei es dem Beschwerdeführer aber darum gegangen, den Beschwerdegegner in seiner beruflichen Ehre anzugreifen und ihn in seinem beruflichen Fortkommen oder Bestehen zu behindern. Ein solches Interesse könne von vornherein nicht schützenswert sein (angefochtener Entscheid S. 12). Mit seinem Verhalten habe er in zivilrechtlich vorwerfbarer Weise gegen die privatrechtlichen Bestimmungen zum Persönlichkeitsschutz verstossen und dadurch das Ehrverletzungsverfahren veranlasst.
2.2 Das Bundesgericht legt seinem Urteil grundsätzlich den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Der Beschwerdeführer behauptet, der Beschwerdegegner habe sich als Avvocato der Botschaft und des Konsulats "ausposaunt" (Beschwerde S. 5), und es sei denn auch ein Mitarbeiter des Konsulats gewesen, der den Mandanten des Beschwerdeführers seinerzeit zum Beschwerdegegner geschickt habe (Beschwerde S. 11). Die Vorinstanz stellt nichts Derartiges fest. Folglich ist auf die Vorbringen nicht einzutreten.
2.3 Mit welcher Motivation der Beschwerdeführer gehandelt hat, stellt eine Tatfrage dar. Der Sachverhalt kann vor Bundesgericht nur angefochten werden, wenn er durch die Vorinstanz offensichtlich unrichtig im Sinne von <ref-law> bzw. willkürlich im Sinne von <ref-law> festgestellt wurde. Willkür liegt vor, wenn der angefochtene Entscheid im bemängelten Punkt offensichtlich unhaltbar ist oder mit der tatsächlichen Situation in klarem Widerspruch steht. Dass eine andere Lösung ebenfalls vertretbar erscheint, genügt nicht (<ref-ruling> E. 2.4).
Die Vorinstanz ist mit der Schlussfolgerung, der Beschwerdeführer habe mit der Orientierung der italienischen Botschaft und des italienischen Konsulats nur beabsichtigt, dem Beschwerdegegner beruflich zu schaden, nicht in Willkür verfallen. In Bezug auf die angeblich inkompetente Prozessführung und die Anmassung des Rechtsanwaltstitels war zunächst die Information des Mandanten gerechtfertigt. Zudem erscheint eine Orientierung der in Frage kommenden Aufsichtskommissionen über die Rechtsanwälte in Italien und der Schweiz als sachgerecht. Diese Stellen hat der Beschwerdeführer denn auch informiert (angefochtener Entscheid S. 13 oben). Über die angebliche Urkundenfälschung hätte er die zuständige Strafuntersuchungsbehörde ins Bild setzen müssen. Demgegenüber erscheinen diplomatische Vertretungen für die Entgegennahme von Disziplinar- und Strafanzeigen nicht als die richtige Adresse. Anzumerken ist, dass der vom Beschwerdeführer zusätzlich in einer italienischen Zeitschaft platzierte Artikel über die Angelegenheit (a.a.O.) als Bestandteil einer eigentlichen Kampagne gedeutet werden kann. Gesamthaft gesehen ist die Schlussfolgerung der Vorinstanz, die Information von Botschaft und Konsulat sei nicht aus gerechtfertigten Motiven geschehen, vertretbar.
3. Die Beschwerde ist im Verfahren nach <ref-law> abzuweisen, soweit darauf einzutreten ist. Mit dem Entscheid in der Sache ist das Gesuch um aufschiebende Wirkung gegenstandslos geworden.
Bei diesem Ausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Dem Beschwerdegegner ist keine Entschädigung auszurichten, weil er vor Bundesgericht keine Umtriebe hatte.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 19. April 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: C. Monn