Sachverhalt:
A. X._ reichte am 15. Juni 2005 Privatstrafklage gegen B._ wegen Ehrverletzung ein.
A._ vertrat die C._ AG und ihren damaligen Verwaltungsratspräsidenten B._ als Anwalt in einem zivilen Massnahmeverfahren gegen D._. Die C._ AG beantragte verschiedene richterliche Verbote wegen unlauteren Wettbewerbs. Das Massnahmegesuch betraf u.a. den Vorwurf, die E._ GmbH bzw. einzelne beteiligte Personen hätten unlauter Mitarbeiter und Kunden zu Vertragsverletzungen und -auflösungen verleitet sowie Fabrikations- und Geschäftsgeheimnisse widerrechtlich verwendet. Gleichzeitig war in dieser Angelegenheit ein Strafverfahren beim Untersuchungsrichteramt des Kantons Schaffhausen hängig, welches infolge der Strafanzeige der C._ AG und von B._ vom 2. Februar 2005 auf X._ ausgedehnt wurde. Die Strafuntersuchung gegen X._ wurde mit dem Einspracheentscheid der Staatsanwaltschaft des Kantons Schaffhausen vom 30. Juni 2009 endgültig eingestellt
X._ wirft B._ vor, im zivilen Massnahmeverfahren mit folgenden Äusserungen in der von Rechtsanwalt A._ verfassten Gesuchsreplik vom 10. Februar 2005 seine Ehre in strafbarer Weise verletzt zu haben:
"1) Die Verweisung auf die Einvernahme von X._ wird unbehelflich sein, weil X._ vor dem Untersuchungsrichteramt generell die Unwahrheit aussagte, was sich aus der ergänzenden Strafanzeige vom 2.2.2005 zwingend ergibt;
2) X._ hatte zwei Funktionen: einerseits die Beschaffung der Source-Codes von Software-Entwicklungen von C._ [AG] für die Verwendung im Rahmen der verschiedenen Konkurrenzunternehmen (...);
3) Ob der Gesuchsgegner den Source-Code selbst behändigte, kann offen bleiben. Jedenfalls bediente er sich dafür der Dienste von X._ und der abgeworbenen und nun bei C._ [AG] Software-Unternehmen beschäftigten ehemaligen C._ [AG] SPB-Mitarbeiter;
4) D._ und X._ hatten den E._ [GmbH]-Mittätern also die gesamten Source-Codes für die Filter in allen vorhandenen Versionen zugänglich gemacht, was einen 'Einbruch' in den Kernbereich des Know-How von C._ [AG] bedeutete."
B. Das Kantonsgericht Schaffhausen sprach B._ am 5. Februar 2009 vom Vorwurf der Ehrverletzung frei, unter anteilsmässiger Kosten- und Entschädigungsfolge zulasten von X._. Auf Appellation von X._ und B._ (im Kostenpunkt) hin bestätigte das Obergericht des Kantons Schaffhausen am 4. April 2011 das erstinstanzliche Urteil.
C. X._ führt Beschwerde in Strafsachen mit dem Antrag, das Urteil des Obergerichts vom 4. April 2011 aufzuheben, B._ wegen übler Nachrede (Art. 173 StGB) zu verurteilen und angemessen zu bestrafen. Er ersucht um aufschiebende Wirkung der Beschwerde.
Erwägungen:
1. 1.1 Am 1. Januar 2011 trat die Schweizerische Strafprozessordnung (StPO; SR 312.0) in Kraft. Ist ein Entscheid vor Inkrafttreten der StPO gefällt worden, so werden Rechtsmittel dagegen nach bisherigem Recht, von den bisher zuständigen Behörden, beurteilt (Art. 453 Abs. 1 StPO). Für Rechtsmittel gegen erstinstanzliche Entscheide höherer Gerichtsinstanzen, die nach Inkrafttreten der StPO nach bisherigem Recht gefällt werden, gilt das bisherige Recht (Art. 454 Abs. 2 StPO). Das erstinstanzliche Urteil des Kantonsgerichts Schaffhausen ist am 5. Februar 2009 ergangen. Die Berufung an das Obergericht des Kantons Schaffhausen und die dagegen vor Bundesgericht erhobenen Rügen richten sich somit weiterhin nach der Strafprozessordnung des Kantons Schaffhausen vom 15. Dezember 1986 (StPO/SH).
1.2 Die Beschwerdelegitimation beurteilt sich nach Art. 81 BGG. Diese Bestimmung ist mit Wirkung ab 1. Januar 2011 teilweise geändert worden. Gemäss der Übergangsbestimmung von Art. 132 Abs. 1 BGG ist das Datum des angefochtenen Entscheids massgebend. Dieser ist am 4. April 2011 ergangen, weshalb vorliegend grundsätzlich die ab dem 1. Januar 2011 geltende Fassung von Art. 81 BGG Anwendung findet (vgl. BGE 1B_236/2011 vom 15. Juli 2011 E. 1.3.1; BGE 1B_123/2011 vom 11. Juli 2011 E. 2.1).
1.3 Zur Beschwerde in Strafsachen ist gemäss Art. 81 Abs. 1 lit. a und b BGG berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat. Ein rechtlich geschütztes Interesse hat u.a. die Privatklägerschaft, wenn der angefochtene Entscheid sich auf die Beurteilung ihrer Zivilansprüche auswirken kann (Art. 81 Abs. 1 lit. b Ziff. 5 BGG). Dem angefochtenen Entscheid kann nicht entnommen werden, dass der Beschwerdeführer im kantonalen Verfahren Zivilansprüche geltend gemacht hätte. Dieser äussert sich in seiner Beschwerde nicht zu diesem Punkt.
1.4 Der Beschwerdeführer stützt seine Beschwerdelegitimation auf Art. 81 Abs. 1 lit. b Ziff. 4 aBGG. Danach war zur Beschwerde in Strafsachen auch die Privatstrafklägerschaft legitimiert, wenn sie nach dem kantonalen Recht die Anklage ohne Beteiligung der Staatsanwaltschaft vertreten hat (vgl. BGE 128 IV 39 E. 2; 127 IV 236 E. 2b/aa). Dies war vorliegend der Fall. Die Staatsanwaltschaft ist gemäss Art. 33 Abs. 3 lit. b StPO/SH am Privatstrafklageverfahren nicht beteiligt, soweit ausschliesslich Ehrverletzungen in Frage stehen. Das Urteil wird ihr nicht mitgeteilt (Art. 305 Abs. 2 StPO/SH), und sie ist nicht zur Berufung legitimiert (Art. 310 Abs. 2 lit. b StPO/SH). Das in einzelnen kantonalen Strafprozessordnungen wie jener des Kantons Schaffhausen vorgesehene Privatstrafklageverfahren wurde mit Inkrafttreten der StPO abgeschafft (vgl. Urteil 1B_394/2010 vom 29. Januar 2011 E. 1). Entsprechend wurde Art. 81 Abs. 1 lit. b Ziff. 4 aBGG auf den Zeitpunkt des Inkrafttretens der StPO am 1. Januar 2011 aufgehoben (BBl 2006 1085, S. 1336). Die unterschiedlichen Übergangsregelungen in der StPO und im BGG haben zur Folge, dass weder die Staatsanwaltschaft (welche am kantonalen Privatstrafklageverfahren nicht beteiligt war und gemäss dem anwendbaren kantonalen Verfahrensrecht nicht beschwerdelegitimiert ist) noch die Privatstrafklägerschaft (wenn sie im kantonalen Verfahren keine Zivilansprüche geltend machte; vgl. BGE 1B_236/2011 vom 15. Juli 2011 E. 1.3.1; BGE 131 IV 195 E. 1.2.2) zur Beschwerde in Strafsachen legitimiert sind. Dies entspricht nicht Sinn und Zweck der neuen Bestimmung von Art. 81 Abs. 1 lit. b BGG, welche nach Wegfall des Privatstrafklageverfahrens um die überflüssig gewordene Ziff. 4 gekürzt wurde, nicht jedoch den Privatstrafklägern in den noch unter altem Recht geführten Privatstrafklageverfahren das Rechtsmittel an das Bundesgericht abschneiden will. Auf die Beschwerde ist gestützt auf Art. 81 Abs. 1 lit. b Ziff. 4 aBGG einzutreten.
Offen bleiben kann, ob dies auch gelten muss, wenn das erstinstanzliche Verfahren nach bisherigem Recht als Privatstrafklageverfahren geführt wurde (vgl. Art. 456 StPO), der erstinstanzliche Entscheid jedoch nach dem 1. Januar 2011 ergangen ist und sich Rechtsmittel dagegen gemäss Art. 454 Abs. 1 StPO nach der StPO richten (vgl. dazu NIKLAUS SCHMID, Übergangsrecht der Schweizerischen Strafprozessordnung, Zürich 2010, N. 351 S. 97 f., N. 270 und 272 S. 75).
2. 2.1 Der Beschwerdeführer rügt, der Beschwerdegegner sei (Mit-)Täter der mit den beanstandeten Äusserungen in der Gesuchsreplik vom 10. Februar 2005 begangenen Ehrverletzung. Er anerkennt, dass dem Beschwerdegegner kein Handeln wider besseres Wissen nachgewiesen werden kann. Wie auch sein Rechtsvertreter habe er sich jedoch strafbar gemacht, da die ehrenrührigen Tatsachenbehauptungen weder sachbezogen noch notwendig gewesen seien und Vermutungen gemäss der bundesgerichtlichen Rechtsprechung als solche zu bezeichnen seien.
2. 2.1 Der Beschwerdeführer rügt, der Beschwerdegegner sei (Mit-)Täter der mit den beanstandeten Äusserungen in der Gesuchsreplik vom 10. Februar 2005 begangenen Ehrverletzung. Er anerkennt, dass dem Beschwerdegegner kein Handeln wider besseres Wissen nachgewiesen werden kann. Wie auch sein Rechtsvertreter habe er sich jedoch strafbar gemacht, da die ehrenrührigen Tatsachenbehauptungen weder sachbezogen noch notwendig gewesen seien und Vermutungen gemäss der bundesgerichtlichen Rechtsprechung als solche zu bezeichnen seien.
2.2 2.2.1 Den Straftatbestand der üblen Nachrede erfüllt, wer jemanden bei einem andern eines unehrenhaften Verhaltens oder anderer Tatsachen, die geeignet sind, seinen Ruf zu schädigen, beschuldigt oder verdächtigt, oder wer eine solche Beschuldigung oder Verdächtigung weiterverbreitet (Art. 173 Ziff. 1 StGB). Beweist der Beschuldigte, dass die von ihm vorgebrachte oder weiterverbreitete Äusserung der Wahrheit entspricht, oder dass er ernsthafte Gründe hatte, sie in guten Treuen für wahr zu halten, so ist er nicht strafbar (Art. 173 Ziff. 2 StGB).
2.2.2 Die Erlaubtheit einer ehrverletzenden Äusserung kann sich aus Art. 14 StGB ergeben. Gemäss dieser Bestimmung, die ihrem Gehalt nach grundsätzlich dem früheren Art. 32 aStGB entspricht, verhält sich rechtmässig, wer handelt, wie es das Gesetz gebietet oder erlaubt, auch wenn die Tat nach dem StGB oder einem andern Gesetz mit Strafe bedroht ist. Prozessparteien können sich gemäss der Rechtsprechung bei allfälligen ehrenrührigen Bemerkungen auf ihre prozessualen Darlegungspflichten und damit auf Art. 14 StGB berufen. Die gleichen Befugnisse stehen auch dem Anwalt zu, der eine Partei vertritt, sofern seine Ausführungen sachbezogen sind, sich auf das für die Erläuterung des jeweiligen Standpunktes Notwendige beschränken, nicht wider besseres Wissen erfolgen und blosse Vermutungen als solche bezeichnen (BGE 135 IV 177 E. 4; 131 IV 154 E. 1.3.1; je mit Hinweisen). Innerhalb dieser Grenzen sollen die Anwälte die Interessen ihrer Mandanten auch pointiert vertreten dürfen, um die zu erläuternden Rechtspositionen nachhaltig auf den Punkt zu bringen. Hinzunehmen ist dabei ein gewisses Mass an übertreibenden Bewertungen und gar Provokationen, soweit sich die anwaltlichen Äusserungen weder als völlig sachwidrig noch als unnötig beleidigend erweisen (Urteile 6B_906/2009 vom 22. Dezember 2009 E. 2.2; 6S.453/2004 vom 2. Mai 2005 E. 4.1 mit Hinweisen). Der Rechtfertigungsgrund von Art. 14 StGB hat Vorrang vor dem Entlastungsbeweis im Sinne von Art. 173 Ziff. 2 StGB (BGE 131 IV 154 E. 1.3.1 mit Hinweisen).
2.3 Die Vorinstanz erwägt, infrage komme von vornherein nur eine strafbare Teilnahme des Beschwerdegegners an möglichen Ehrverletzungen seines Rechtsanwalts A._ (angefochtenes Urteil S. 8 in fine). Rechtsanwalt A._ könne kein strafbares Verhalten nachgewiesen werden. Er sei mit Urteil des Obergerichts vom 4. April 2011 vom Vorwurf der Ehrverletzung freigesprochen worden. Der Beschwerdegegner habe sich bereits aus diesem Grund nicht strafbar gemacht (E. 4c/bb S. 9).
2.4 Die vom Beschwerdeführer mit separater Eingabe gegen den Freispruch von A._ wegen übler Nachrede erhobene Beschwerde in Strafsachen wurde vom Bundesgericht mit Urteil 6B_358/2011 abgewiesen. Das Bundesgericht kommt darin zum Schluss, Rechtsanwalt A._ könne sich auf den Rechtfertigungsgrund von Art. 14 StGB berufen (Urteil 6B_358/2011 E. 2).
Dem Beschwerdegegner konnte kein Handeln wider besseres Wissen nachgewiesen werden. Da die beanstandeten Äusserungen, wie im Urteil 6B_358/2011 ausgeführt, sachbezogen und auf das Notwendige beschränkt waren und unter den gegebenen Umständen vom Rechtsanwalt des Beschwerdegegners angesichts der diesem obliegenden Behauptungs- und Beweislast nicht verlangt werden konnte, seine Sachdarstellungen als blosse Vermutungen zu relativieren, kann sich auch der Beschwerdegegner auf den Rechtfertigungsgrund von Art. 14 StGB berufen.
2.5 Offen bleiben kann, ob die Vorinstanz in der Eventualbegründung, wie vom Beschwerdeführer behauptet (Beschwerde Ziff. 20 ff. S. 6 ff.), gestützt auf den Grundsatz in dubio pro reo zu Unrecht davon ausgeht, der Beschwerdegegner habe auf die Äusserungen in der Gesuchsreplik keinen Einfluss gehabt und er habe diese nicht durchgelesen (vgl. angefochtenes Urteil S. 10 f.). Nicht weiter einzugehen ist daher auf den Einwand des Beschwerdeführers, die Vorinstanz habe seine diesbezüglichen Beweisanträge in Verletzung seines Anspruchs auf rechtliches Gehör nach Art. 29 Abs. 2 BV abgewiesen (Beschwerde Ziff. 32 S. 9).
3. Die Beschwerde ist abzuweisen. Das Gesuch um aufschiebende Wirkung wird mit dem Entscheid in der Sache gegenstandslos.
Der Beschwerdegegner wurde nicht zur Stellungnahme aufgefordert. Es sind ihm im bundesgerichtlichen Verfahren keine Kosten erwachsen, weshalb ihm keine Parteientschädigung zuzusprechen ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
Lausanne, 22. August 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Unseld