Sachverhalt:
A. X._ beantragte am 6. Juli 2007, das gegen B._ geführte Privatstrafklageverfahren wegen Ehrverletzung auf A._ auszudehnen.
A._ vertrat die C._ AG und ihren damaligen Verwaltungsratspräsidenten B._ als Anwalt in einem zivilen Massnahmeverfahren gegen D._. Die C._ AG beantragte verschiedene richterliche Verbote wegen unlauteren Wettbewerbs. Das Massnahmegesuch betraf u.a. den Vorwurf, die E._ GmbH bzw. einzelne beteiligte Personen hätten unlauter Mitarbeiter und Kunden zu Vertragsverletzungen und -auflösungen verleitet sowie Fabrikations- und Geschäftsgeheimnisse widerrechtlich verwendet. Gleichzeitig war in dieser Angelegenheit ein Strafverfahren beim Untersuchungsrichteramt des Kantons Schaffhausen hängig, welches infolge der Strafanzeige der C._ AG und von B._ vom 2. Februar 2005 auf X._ ausgedehnt wurde. Die Strafuntersuchung gegen X._ wurde mit dem Einspracheentscheid der Staatsanwaltschaft des Kantons Schaffhausen vom 30. Juni 2009 endgültig eingestellt.
X._ wirft A._ vor, im zivilen Massnahmeverfahren mit folgenden Äusserungen in der Gesuchsreplik vom 10. Februar 2005 seine Ehre in strafbarer Weise verletzt zu haben:
"1) Die Verweisung auf die Einvernahme von X._ wird unbehelflich sein, weil X._ vor dem Untersuchungsrichteramt generell die Unwahrheit aussagte, was sich aus der ergänzenden Strafanzeige vom 2.2.2005 zwingend ergibt;
2) X._ hatte zwei Funktionen: einerseits die Beschaffung der Source-Codes von Software-Entwicklungen von C._ [AG] für die Verwendung im Rahmen der verschiedenen Konkurrenzunternehmen (...);
3) Ob der Gesuchsgegner den Source-Code selbst behändigte, kann offen bleiben. Jedenfalls bediente er sich dafür der Dienste von X._ und der abgeworbenen und nun bei C._ [AG] Software-Unternehmen beschäftigten ehemaligen C._ [AG] SPB-Mitarbeiter;
4) D._ und X._ hatten den E._ [GmbH]-Mittätern also die gesamten Source-Codes für die Filter in allen vorhandenen Versionen zugänglich gemacht, was einen 'Einbruch' in den Kernbereich des Know-How von C._ [AG] bedeutete."
B. Das Kantonsgericht Schaffhausen sprach A._ am 5. Februar 2009 vom Vorwurf der Ehrverletzung frei, unter anteilsmässiger Kosten- und Entschädigungsfolge zulasten von X._. Auf Appellation von X._ und A._ (im Kostenpunkt) hin bestätigte das Obergericht des Kantons Schaffhausen am 4. April 2011 das erstinstanzliche Urteil.
C. X._ führt Beschwerde in Strafsachen mit dem Antrag, das Urteil des Obergerichts vom 4. April 2011 aufzuheben, A._ wegen übler Nachrede (Art. 173 StGB) zu verurteilen und angemessen zu bestrafen. Er ersucht um aufschiebende Wirkung der Beschwerde.
Erwägungen:
1. 1.1 Am 1. Januar 2011 trat die Schweizerische Strafprozessordnung (StPO; SR 312.0) in Kraft. Ist ein Entscheid vor Inkrafttreten der StPO gefällt worden, so werden Rechtsmittel dagegen nach bisherigem Recht, von den bisher zuständigen Behörden, beurteilt (Art. 453 Abs. 1 StPO). Für Rechtsmittel gegen erstinstanzliche Entscheide höherer Gerichtsinstanzen, die nach Inkrafttreten der StPO nach bisherigem Recht gefällt werden, gilt das bisherige Recht (Art. 454 Abs. 2 StPO). Das erstinstanzliche Urteil des Kantonsgerichts Schaffhausen ist am 5. Februar 2009 ergangen. Die Berufung an das Obergericht des Kantons Schaffhausen und die dagegen vor Bundesgericht erhobenen Rügen richten sich somit weiterhin nach der Strafprozessordnung des Kantons Schaffhausen vom 15. Dezember 1986 (StPO/SH).
1.2 Die Beschwerdelegitimation beurteilt sich nach Art. 81 BGG. Diese Bestimmung ist mit Wirkung ab 1. Januar 2011 teilweise geändert worden. Gemäss der Übergangsbestimmung von Art. 132 Abs. 1 BGG ist das Datum des angefochtenen Entscheids massgebend. Dieser ist am 4. April 2011 ergangen, weshalb vorliegend grundsätzlich die ab dem 1. Januar 2011 geltende Fassung von Art. 81 BGG Anwendung findet (vgl. BGE 1B_236/2011 vom 15. Juli 2011 E. 1.3.1; BGE 1B_123/2011 vom 11. Juli 2011 E. 2.1).
1.3 Zur Beschwerde in Strafsachen ist gemäss Art. 81 Abs. 1 lit. a und b BGG berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat. Ein rechtlich geschütztes Interesse hat u.a. die Privatklägerschaft, wenn der angefochtene Entscheid sich auf die Beurteilung ihrer Zivilansprüche auswirken kann (Art. 81 Abs. 1 lit. b Ziff. 5 BGG). Dem angefochtenen Entscheid kann nicht entnommen werden, dass der Beschwerdeführer im kantonalen Verfahren Zivilansprüche geltend gemacht hätte. Dieser äussert sich in seiner Beschwerde nicht zu diesem Punkt.
1.4 Der Beschwerdeführer stützt seine Beschwerdelegitimation auf Art. 81 Abs. 1 lit. b Ziff. 4 aBGG. Danach war zur Beschwerde in Strafsachen auch die Privatstrafklägerschaft legitimiert, wenn sie nach dem kantonalen Recht die Anklage ohne Beteiligung der Staatsanwaltschaft vertreten hat (vgl. BGE 128 IV 39 E. 2; 127 IV 236 E. 2b/aa). Dies war vorliegend der Fall. Die Staatsanwaltschaft ist gemäss Art. 33 Abs. 3 lit. b StPO/SH am Privatstrafklageverfahren nicht beteiligt, soweit ausschliesslich Ehrverletzungen in Frage stehen. Das Urteil wird ihr nicht mitgeteilt (Art. 305 Abs. 2 StPO/SH), und sie ist nicht zur Berufung legitimiert (Art. 310 Abs. 2 lit. b StPO/SH). Das in einzelnen kantonalen Strafprozessordnungen wie jener des Kantons Schaffhausen vorgesehene Privatstrafklageverfahren wurde mit Inkrafttreten der StPO abgeschafft (vgl. Urteil 1B_394/2010 vom 29. Januar 2011 E. 1). Entsprechend wurde Art. 81 Abs. 1 lit. b Ziff. 4 aBGG auf den Zeitpunkt des Inkrafttretens der StPO am 1. Januar 2011 aufgehoben (BBl 2006 1085, S. 1336). Die unterschiedlichen Übergangsregelungen in der StPO und im BGG haben zur Folge, dass weder die Staatsanwaltschaft (welche am kantonalen Privatstrafklageverfahren nicht beteiligt war und gemäss dem anwendbaren kantonalen Verfahrensrecht nicht beschwerdelegitimiert ist) noch die Privatstrafklägerschaft (wenn sie im kantonalen Verfahren keine Zivilansprüche geltend machte; vgl. BGE 1B_236/2011 vom 15. Juli 2011 E. 1.3.1; BGE 131 IV 195 E. 1.2.2) zur Beschwerde in Strafsachen legitimiert sind. Dies entspricht nicht Sinn und Zweck der neuen Bestimmung von Art. 81 Abs. 1 lit. b BGG, welche nach Wegfall des Privatstrafklageverfahrens um die überflüssig gewordene Ziff. 4 gekürzt wurde, nicht jedoch den Privatstrafklägern in den noch unter altem Recht geführten Privatstrafklageverfahren das Rechtsmittel an das Bundesgericht abschneiden will. Auf die Beschwerde ist gestützt auf Art. 81 Abs. 1 lit. b Ziff. 4 aBGG einzutreten.
Offen bleiben kann, ob dies auch gelten muss, wenn das erstinstanzliche Verfahren nach bisherigem Recht als Privatstrafklageverfahren geführt wurde (vgl. Art. 456 StPO), der erstinstanzliche Entscheid jedoch nach dem 1. Januar 2011 ergangen ist und sich Rechtsmittel dagegen gemäss Art. 454 Abs. 1 StPO nach der StPO richten (vgl. dazu NIKLAUS SCHMID, Übergangsrecht der Schweizerischen Strafprozessordnung, Zürich 2010, N. 351 S. 97 f., N. 270 und 272 S. 75).
2. 2.1 Der Beschwerdeführer rügt, er sei vom Beschwerdegegner als Krimineller dargestellt worden, der sich in strafrechtlich relevanter Weise den Source-Code einer wichtigen Software beschafft und diesen im eigenen Interesse verwertet habe. Weiter werde er als Person präsentiert, die selbst unter der Pflicht, die Wahrheit zu sagen, vor dem Untersuchungsrichter generell die Unwahrheit aussage. Entgegen der Auffassung der Vorinstanz seien die Äusserungen des Beschwerdegegners weder sachbezogen noch notwendig gewesen. Er sei generell als notorischer Lügner und Krimineller präsentiert worden, womit die Anschuldigungen gerade nicht auf das Prozessthema beschränkt worden seien. Da der Beschwerdegegner dem Gericht die erwähnte Strafanzeige nicht eingereicht, sondern lediglich den Beizug der Strafakten als Beweis offeriert habe, habe dieses nicht prüfen können, ob er gegenüber dem Untersuchungsrichter Falschaussagen gemacht hatte. Vermutungen seien gemäss der bundesgerichtlichen Rechtsprechung als solche zu bezeichnen. Dies müsse umso mehr für den Vorwurf von strafbaren Handlungen gegenüber Personen gelten, die im Prozess gar nicht Partei seien und sich gegen die ehrverletzenden Vorwürfe im Prozess gar nicht zur Wehr setzen könnten.
2. 2.1 Der Beschwerdeführer rügt, er sei vom Beschwerdegegner als Krimineller dargestellt worden, der sich in strafrechtlich relevanter Weise den Source-Code einer wichtigen Software beschafft und diesen im eigenen Interesse verwertet habe. Weiter werde er als Person präsentiert, die selbst unter der Pflicht, die Wahrheit zu sagen, vor dem Untersuchungsrichter generell die Unwahrheit aussage. Entgegen der Auffassung der Vorinstanz seien die Äusserungen des Beschwerdegegners weder sachbezogen noch notwendig gewesen. Er sei generell als notorischer Lügner und Krimineller präsentiert worden, womit die Anschuldigungen gerade nicht auf das Prozessthema beschränkt worden seien. Da der Beschwerdegegner dem Gericht die erwähnte Strafanzeige nicht eingereicht, sondern lediglich den Beizug der Strafakten als Beweis offeriert habe, habe dieses nicht prüfen können, ob er gegenüber dem Untersuchungsrichter Falschaussagen gemacht hatte. Vermutungen seien gemäss der bundesgerichtlichen Rechtsprechung als solche zu bezeichnen. Dies müsse umso mehr für den Vorwurf von strafbaren Handlungen gegenüber Personen gelten, die im Prozess gar nicht Partei seien und sich gegen die ehrverletzenden Vorwürfe im Prozess gar nicht zur Wehr setzen könnten.
2.2 2.2.1 Den Straftatbestand der üblen Nachrede erfüllt, wer jemanden bei einem andern eines unehrenhaften Verhaltens oder anderer Tatsachen, die geeignet sind, seinen Ruf zu schädigen, beschuldigt oder verdächtigt, oder wer eine solche Beschuldigung oder Verdächtigung weiterverbreitet (Art. 173 Ziff. 1 StGB). Beweist der Beschuldigte, dass die von ihm vorgebrachte oder weiterverbreitete Äusserung der Wahrheit entspricht, oder dass er ernsthafte Gründe hatte, sie in guten Treuen für wahr zu halten, so ist er nicht strafbar (Art. 173 Ziff. 2 StGB).
2.2.2 Die Erlaubtheit einer ehrverletzenden Äusserung kann sich aus Art. 14 StGB ergeben. Gemäss dieser Bestimmung, die ihrem Gehalt nach grundsätzlich dem früheren Art. 32 aStGB entspricht, verhält sich rechtmässig, wer handelt, wie es das Gesetz gebietet oder erlaubt, auch wenn die Tat nach dem StGB oder einem andern Gesetz mit Strafe bedroht ist. Prozessparteien können sich gemäss der Rechtsprechung bei allfälligen ehrenrührigen Bemerkungen auf ihre prozessualen Darlegungspflichten und damit auf Art. 14 StGB berufen. Die gleichen Befugnisse stehen auch dem Anwalt zu, der eine Partei vertritt, sofern seine Ausführungen sachbezogen sind, sich auf das für die Erläuterung des jeweiligen Standpunktes Notwendige beschränken, nicht wider besseres Wissen erfolgen und blosse Vermutungen als solche bezeichnen (BGE 135 IV 177 E. 4; 131 IV 154 E. 1.3.1; je mit Hinweisen). Innerhalb dieser Grenzen sollen die Anwälte die Interessen ihrer Mandanten auch pointiert vertreten dürfen, um die zu erläuternden Rechtspositionen nachhaltig auf den Punkt zu bringen. Hinzunehmen ist dabei ein gewisses Mass an übertreibenden Bewertungen und gar Provokationen, soweit sich die anwaltlichen Äusserungen weder als völlig sachwidrig noch als unnötig beleidigend erweisen (Urteile 6B_906/2009 vom 22. Dezember 2009 E. 2.2; 6S.453/2004 vom 2. Mai 2005 E. 4.1 mit Hinweisen). Der Rechtfertigungsgrund von Art. 14 StGB hat Vorrang vor dem Entlastungsbeweis im Sinne von Art. 173 Ziff. 2 StGB (BGE 131 IV 154 E. 1.3.1 mit Hinweisen).
2.3 Die Vorinstanz führt aus, die Tatsachenbehauptungen des Beschwerdegegners seien ehrenrührig, da dem Beschwerdeführer in mehrfacher Hinsicht ein unehrenhaftes und teilweise auch kriminelles Verhalten vorgeworfen werde (angefochtenes Urteil E. 5a und b S. 7 f.). Der Beschwerdegegner sei sich dessen als Anwalt bewusst gewesen (E. 5c S. 8). Hingegen sei nicht erstellt, dass er um die Unwahrheit seiner Äusserungen gewusst habe (E. 5c S. 8 f.).
Die Vorinstanz kommt zum Schluss, die ehrverletzenden Äusserungen des Beschwerdegegners in der Gesuchsreplik vom 10. Februar 2005 seien gestützt auf Art. 14 StGB strafrechtlich gerechtfertigt gewesen (angefochtenes Urteil S. 11 f.). Diese seien vor dem Hintergrund des hängigen Verfahrens sachbezogen gewesen. Dass der Beschwerdeführer nicht Partei des Zivilverfahrens gewesen sei, ändere nichts. Im Hinblick auf die Darlegungs- und Substantiierungspflicht des Beschwerdegegners als Vertreter der gesuchstellenden C._ AG sei es unter den gegebenen Umständen geboten gewesen, die seiner Ansicht nach beteiligten Personen namentlich zu erwähnen und deren Tatbeitrag zu nennen. Auch die Äusserung des Beschwerdegegners, der Beschwerdeführer habe vor dem Untersuchungsrichteramt generell die Unwahrheit gesagt, sei zumindest insofern nicht völlig sachfremd, als die damaligen Aussagen des Beschwerdeführers im Widerspruch zum Standpunkt der C._ AG gestanden seien. Der Versuch, diese im Massnahmeverfahren zu entkräften, sei prozesstaktisch geboten gewesen. Die Behauptungen seien im Kontext nicht unnötig beleidigend, auch wenn sie angriffig und - namentlich in Bezug auf den Begriff "zwingend" - offensichtlich übertrieben seien. Dem Leser der Rechtsschrift habe jedoch klar sein müssen, dass sich die Beschuldigungen auf Aussagen des Beschwerdeführers zum Prozessthema beschränkten und eine Strafanzeige noch keineswegs eine Falschaussage belege bzw. den Betroffenen zum Straftäter mache. Es sei nicht der Eindruck entstanden, der Beschwerdeführer sei generell ein Lügner oder Krimineller (S. 11). In der gegebenen Situation sei der Beschwerdegegner auch nicht gehalten gewesen, ausdrücklich zu erwähnen, dass es sich um Vermutungen handle. Dem Leser der Gesuchsreplik habe klar sein müssen, dass es sich dabei um die subjektive Darstellung des Prozessstoffs aus Sicht der Partei und eine einseitige Interessenwahrung handle. Das (summarische) Massnahmeverfahren diene grundsätzlich der vorläufigen Regelung eines Streitgegenstands oder der schnellen Handhabung klaren materiellen Rechts. Sinn und Zweck der Parteivorbringen sei es, dem Gericht die tatsächlichen Grundlagen des Begehrens glaubhaft zu machen. Wäre der Anwalt in dieser Situation verpflichtet, gegebenenfalls ehrverletzende Behauptungen stets nur mit Vorbehalt zu äussern, würde ihm eine wirkungsvolle Interessenwahrung seines Mandanten praktisch verunmöglicht (E. 5d/cc S. 12).
2.4 Die vorinstanzliche Würdigung ist bundesrechtlich nicht zu beanstanden.
2.4.1 Im Wettbewerbsrecht sind Zivil- und Strafverfahren eng miteinander verknüpft, da unlauterer Wettbewerb bei vorsätzlichem Handeln auch strafbar ist (vgl. Art. 23 UWG). Hätten strafrechtliche Anschuldigungen im Zivilprozess strikte zu unterbleiben, wäre der zivilrechtliche Schutz weitgehend unterbunden.
Die Äusserungen des Beschwerdegegners waren sachbezogen und auf das Notwendige beschränkt. Namentlich kann der Antrag auf Beizug der Akten des parallelen Strafverfahrens nicht als sachfremd bezeichnet werden. Dies umso weniger als sich, wie der Gesuchsreplik zu entnehmen ist, auch der Gesuchsgegner im zivilen Massnahmeverfahren auf die Aussagen des Beschwerdeführers berief. Der gesuchstellenden Partei musste es möglich sein, den Standpunkt des Beschwerdeführers, welcher mit ihrer eigenen Sachverhaltsschilderung nicht vereinbar war, zu widerlegen und zu entkräften. Entgegen dem Einwand des Beschwerdeführers bezog sich die erste Äusserung erkennbar auf seine Aussagen anlässlich der untersuchungsrichterlichen Befragung vom 18. Oktober 2004. Diese standen mit dem zivilen Massnahmeverfahren in einem direkten Zusammenhang. Der Beschwerdeführer wurde keineswegs generell als Lügner oder Krimineller bezeichnet. Wohl wäre bezüglich der ersten Äusserung auch eine weniger angriffige Formulierung möglich gewesen. Inhaltlich wäre es jedoch beim Vorwurf geblieben, dass die Aussagen des Beschwerdeführers vom 18. Oktober 2004 nach Auffassung der gesuchstellenden Partei unwahr sind.
Der Beschwerdeführer wurde am 18. Oktober 2004 im Strafverfahren gegen D._ als Auskunftsperson einvernommen, wobei er zu Beginn der Befragung auf Art. 303 und 304 StGB aufmerksam gemacht wurde. Durch die Äusserung, er habe im Strafverfahren zugunsten des Angeschuldigten nicht die Wahrheit gesagt, wurde er weder der falschen Anschuldigung im Sinne von Art. 303 StGB noch der Irreführung der Rechtspflege im Sinne von Art. 304 StGB beschuldigt.
2.4.2 Die Vorinstanz legt dar, weshalb der Beschwerdegegner nicht wider besseres Wissen handelte. Was der Täter wusste, wollte und in Kauf nahm, betrifft innere Tatsachen (BGE 137 IV 1 E. 4.2.3; 125 IV 242 E. 3c S. 252; je mit Hinweisen), welche das Bundesgericht nur unter dem Gesichtspunkt der Willkür prüft (Art. 97 Abs. 1 BGG; BGE 134 IV 36 E. 1.4.1). Der Beschwerdeführer wendet diesbezüglich zwar ein, die Anschuldigungen des Beschwerdegegners seien unzutreffend gewesen. Dieser habe versucht, seine Äusserungen mittels umfangreicher Beweismittel zu rechtfertigen. Auch die Führung des Gutglaubensbeweises wäre von vornherein zum Scheitern verurteilt (Beschwerde Ziff. 41-45 S. 10). Dass die vorinstanzliche Feststellung, der Beschwerdegegner habe nicht wider besseres Wissen gehandelt, willkürlich sein soll, macht er hingegen nicht geltend (vgl. Beschwerde Ziff. 13 S. 5).
2.4.3 Die Vorinstanz weist zutreffend darauf hin, dass vom Beschwerdegegner unter den gegebenen Umständen nicht verlangt werden konnte, seine Äusserungen als Vermutung zu bezeichnen. Die gesuchstellende Partei muss im Zivilprozess den Beweis für ihre Tatsachenbehauptungen erbringen (vgl. Art. 8 ZGB). Die Darlegung blosser Vermutungen genügt nicht. Die Behauptungen des Beschwerdegegners und die diesen widersprechenden Aussagen des Beschwerdeführers vom 18. Oktober 2004 waren Beweisthema im zivilen Massnahmeverfahren. Für den Leser der Rechtsschrift war klar, dass es insoweit nicht um "bewiesene Tatsachen", sondern "zu beweisende Tatsachenbehauptungen" ging. Da die Aussagen des Beschwerdeführers mit den vom Beschwerdegegner als Rechtsvertreter der Gesuchsteller zu beweisenden bzw. glaubhaft zu machenden Tatsachen im Widerspruch standen, konnte er sich nicht damit begnügen, diese als "vermutlich" falsch abzutun.
Die Rechtsprechung verpflichtet die Prozessparteien, Vermutungen als solche zu bezeichnen. Dies gilt u.a. für Äusserungen im Rahmen von Strafanzeigen (Urteil 6S.490/2002 vom 9. Januar 2004 E. 3.2; vgl. auch Urteil 2A.499/2006 vom 11. Juni 2007 E. 2.2), welche oftmals auf Vermutungen basieren, nicht jedoch für im betreffenden (Zivil-)Verfahren zu beweisende oder zumindest glaubhaft zu machende Tatsachen (vgl. BGE 131 IV 154 E. 1.4; Urteil 6B_906/2009 vom 22. Dezember 2009 E. 2.3). Der Beschwerdeführer kann aus den zitierten Bundesgerichtsurteilen nichts zu seinen Gunsten ableiten.
3. Die Beschwerde ist abzuweisen. Das Gesuch um aufschiebende Wirkung wird mit dem Entscheid in der Sache gegenstandslos.
Der Beschwerdegegner wurde nicht zur Stellungnahme aufgefordert. Es sind ihm im bundesgerichtlichen Verfahren keine Kosten erwachsen, weshalb ihm keine Parteientschädigung zuzusprechen ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
Lausanne, 22. August 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Unseld