Sachverhalt:
A. Am 10. November 2005 erstattete C._ (Beschwerdeführer) gegen D._ (Beschwerdegegner) Strafanzeige und -antrag wegen Verleumdung, eventuell übler Nachrede. Nach Verfahrenseinstellung durch das Bezirksamt Schwyz und Abweisung der dagegen erhobenen Beschwerde durch die Staatsanwaltschaft des Kantons Schwyz rekurrierte der Beschwerdeführer an das Kantonsgericht Schwyz. Dieses hob die Verfahrenseinstellung auf und wies das Verfahren zur Anklageerhebung an das Bezirksamt zurück.
Mit Urteil vom 10. Juni 2009 sprach das Bezirksgericht Schwyz den Beschwerdegegner für seine in einem Schreiben vom 23. Juni 2005 geäusserte Unterstellung, der Beschwerdeführer habe Rechnung für nicht erteilte Aufträge bzw. nicht erbrachte Leistungen gestellt, für schuldig und im Übrigen frei. Dagegen erhoben beide Parteien Berufung an das Kantonsgericht. Dieses sprach den Beschwerdegegner mit Urteil vom 24. November 2009 auch bezüglich der Äusserung insgesamt, der Beschwerdeführer sei ein Hochstapler und Betrüger, der sich mit seinen Machenschaften unrechtmässig bereichere, der üblen Nachrede für schuldig. Mangels Spruchreife der beantragten Genugtuung wurde diese auf den Zivilweg verwiesen. Im Urteil wird ferner angeführt, dass, da über diese Adhäsionsforderung nicht befunden werden könne, auch die Parteikosten dasselbe Schicksal teilten (§ 56 Abs. 3 Verordnung vom 28. August 1974 über den Strafprozess im Kanton Schwyz [aStPO/SZ]).
B. Am 11. Februar 2011 erhob der Beschwerdeführer beim Bezirksgericht Schwyz Klage mit dem Antrag, der Beschwerdegegner sei zu verpflichten, ihm Fr. 29'168.10 nebst Zins und Weisungskosten zu bezahlen. Der verlangte Betrag setzt sich zusammen aus Anwaltskosten im erwähnten Strafverfahren betreffend Ehrverletzungsdelikte von Fr. 23'973.90 und Kosten aus persönlichen Umtrieben des Beschwerdeführers selbst von Fr. 5'194.20. Im Einverständnis der Parteien wurde das Verfahren auf die Frage beschränkt, ob dem Grundsatz nach ein Anspruch auf Entschädigung der geltend gemachten Rechtsvertretungskosten sowie persönlichen Umtriebe bestehe. Mit Urteil vom 7. September 2011 wies der Einzelrichter am Bezirksgericht Schwyz die Klage ab, soweit er darauf eintrat.
Dagegen reichte der Beschwerdeführer beim Kantonsgericht Schwyz Berufung ein. Er beantragte die Rückweisung zur Durchführung des Beweisverfahrens im Sinne der Erwägungen, eventualiter die Verpflichtung des Beschwerdegegners, ihm Fr. 29'168.10 nebst Zins und Fr. 250.-- Weisungskosten zu bezahlen. Mit Urteil vom 29. November 2011 wies das Kantonsgericht die Berufung ab und bestätigte das erstinstanzliche Urteil.
C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde, Dispositivziffer 1 des Urteils des Kantonsgerichts Schwyz vom 29. November 2011 sei aufzuheben und es sei die Vorinstanz anzuweisen, die Berufung des Beschwerdeführers gutzuheissen. Es sei die Sache an die Vorinstanz zur Durchführung des Beweisverfahrens im Sinne der Erwägungen zurückzuweisen.
Der Beschwerdegegner begehrt, sowohl die Beschwerde in Zivilsachen als auch die Verfassungsbeschwerde abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz beantragt, die Beschwerden abzuweisen, soweit darauf einzutreten sei bzw. auf die Beschwerde in Zivilsachen nicht einzutreten.
Die Parteien reichten Replik und Duplik ein.
Erwägungen:
1. Der Beschwerdeführer stellt den Verfahrensantrag, es seien zusätzlich zu den vorinstanzlichen Akten auch die Akten des Strafverfahrens vor dem Bezirksgericht Schwyz (BS 09 10) einschliesslich der Strafuntersuchung vor dem Bezirksamt Schwyz (V 05 1215) sowie des Beschwerdeverfahrens (RK 2009 17) und des Berufungsverfahrens (SK 2009 30 und 31) vor dem Kantonsgericht Schwyz beizuziehen.
Da die vorliegende Beschwerde ohne Bezug der Akten aus dem Strafverfahren beurteilt werden kann, ist dieser Antrag abzulehnen.
2. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (BGE 135 III 1 E. 1.1 mit Hinweisen).
2.1 Vorliegend wurden die Zivilforderungen (Genugtuungsanspruch und die damit zusammenhängenden Parteikosten) des Beschwerdeführers auf den Zivilweg verwiesen. Hierauf klagte der Beschwerdeführer auf Ersatz der im Strafverfahren entstandenen Kosten aus der Rechtsvertretung und eigenen Umtrieben. Bei einer solchen Konstellation (Verweis der Zivilansprüche auf den Zivilweg) unterliegt das daraufhin ergangene Zivilurteil grundsätzlich der Beschwerde in Zivilsachen und nicht der Beschwerde in Strafsachen mit der Folge, dass das für die Beschwerde in Zivilsachen geltende Streitwerterfordernis erfüllt sein muss (vgl. MARC THOMMEN, Basler Kommentar, 2. Aufl. 2011, N. 32 zu Art. 78 BGG).
Vorliegend erreicht der Streitwert (Fr. 29'168.10) die Grenze von Fr. 30'000.-- (Art. 74 Abs. 1 lit. b BGG) nicht, weshalb sich die Beschwerde in Zivilsachen insofern als unzulässig erweist.
Erreicht der Streitwert den massgebenden Betrag nicht, ist die Beschwerde in Zivilsachen dennoch zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (Art. 74 Abs. 2 lit. a BGG). In der Beschwerdeschrift ist auszuführen, warum diese Voraussetzung erfüllt ist (Art. 42 Abs. 2 BGG).
Der Beschwerdeführer macht in seiner Beschwerdeschrift dazu keine Ausführungen und zeigt nicht auf, dass eine Rechtsfrage von grundsätzlicher Bedeutung zu beurteilen wäre. Sein Versuch, dies in der Replik nachzutragen, ist verspätet und kann nicht berücksichtigt werden. Die Beschwerde in Zivilsachen erweist sich demnach auch im Hinblick auf Art. 74 Abs. 2 lit. a BGG als unzulässig. Auf dieselbe ist demnach nicht einzutreten.
2.2 Damit erweist sich die ebenfalls erhobene subsidiäre Verfassungsbeschwerde als zulässig (Art. 113 BGG). Mit dieser kann ausschliesslich die Verletzung von verfassungsmässigen Rechten gerügt werden (Art. 116 BGG). Das Bundesgericht kann die Verletzung eines Grundrechts nur prüfen, wenn eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 i.V.m. Art. 117 BGG; BGE 134 II 244 E. 2.2; 133 III 439 E. 3.2 S. 444). Auf unzureichend begründete Beschwerden wird nicht eingetreten.
3. Nach § 56 der hier noch anwendbaren Schwyzer Strafprozessordnung (aStPO/SZ) hat der Angeklagte dem Geschädigten oder dem Opfer auf Verlangen die Parteikosten ganz oder teilweise zu ersetzen, wenn der privatrechtliche Anspruch des Geschädigten oder des Opfers ganz oder teilweise gutgeheissen wird (Abs. 1). Wird der Geschädigte oder das Opfer abgewiesen, können sie zu den Kosten verurteilt werden, die aus der Behandlung des Anspruchs entstanden sind. Auf Verlangen des Angeklagten haben sie ausserdem einen angemessenen Anteil an die Parteikosten zu bezahlen (Abs. 2). Wird über den privatrechtlichen Anspruch mangels Verurteilung nicht befunden oder der privatrechtliche Anspruch zum Entscheid an den Zivilrichter gewiesen, hat dieser auf Antrag über die mit der Behandlung des Anspruches zusammenhängenden Parteikosten zu entscheiden (Abs. 3).
Die Vorinstanz erwog unter anderem, der Beschwerdeführer habe keinen selbständigen Zivilanspruch nach § 56 Abs. 3 aStPO/SZ (Schadenersatz oder Genugtuung infolge strafrechtlich relevanten Verschuldens) geltend gemacht. Allein für den Strafprozess aufgewendete, nicht der Durchsetzung der Zivilforderung dienende Parteikosten seien jedoch nicht ersatzfähig, weshalb die Zivilklage zu Recht abgewiesen worden sei.
Die Rügen, die der Beschwerdeführer dagegen vorbringt, können nur geprüft werden, soweit er hinlänglich begründet eine Verletzung verfassungsmässiger Rechte geltend macht. Auf Rügen der Verletzung von einfachem Bundesrecht, wie namentlich diejenige einer Nichtanwendung von Art. 41 OR, kann im Rahmen der subsidiären Verfassungsbeschwerde nicht eingegangen werden (vgl. Erwägung 2.2). Dabei hilft es dem Beschwerdeführer nicht, wenn er in der Replik versucht, seine Rügen nachzubessern und neu eine Verletzung der derogatorischen Kraft des Bundesrechts vorbringt. Die Beschwerde ist innert der Beschwerdefrist vollständig begründet einzureichen (Art. 42 Abs. 1 BGG). Der Beschwerdeführer darf die Replik nicht dazu verwenden, seine Beschwerde zu ergänzen oder zu verbessern (vgl. BGE 132 I 42 E. 3.3.4). Die Ausführungen betreffend Art. 41 OR, in denen keine (hinlänglich begründete) Rüge der Verletzung verfassungsmässiger Rechte erblickt werden kann, sind daher nicht zu hören.
4. Der Beschwerdeführer macht geltend, dem Opfer im Sinne des OHG würden die Kosten für die sachlich gebotene Rechtsverbeiständung im Strafverfahren übernommen (vgl. BGE 123 II 548). Auch habe die Vorinstanz in einem anderen Fall erwogen, § 19 Abs. 2 aStPO/SZ beschränke die unentgeltliche Rechtspflege im Strafverfahren nicht mehr darauf, ausschliesslich Zivilansprüche geltend zu machen. Sie könne vielmehr allgemein zur Wahrung der Rechte im Strafverfahren bewilligt werden, jedoch nur, soweit dies erforderlich sei (vgl. Urteil des Bundesgerichts 6B_184/2007 vom 7. September 2007 E. 3.2). Dass dasselbe für die "verfahrensrechtlich gleichgestellte" Partei des "Geschädigten" nicht gelte, verstosse gegen das Rechtsgleichheitsgebot, sei willkürlich und verletze das Gebot des fairen Verfahrens nach Art. 6 Ziff. 1 EMRK.
4.1 Die Berufung auf das Rechtsgleichheitsgebot (Art. 8 BV) geht fehl, weil der Beschwerdeführer ungleiche Sachverhalte miteinander vergleicht. So ist namentlich das Schutzbedürfnis des Opfers höher als dasjenige des "gewöhnlichen" Geschädigten. Diesem kommt keine Opferstellung im Sinne des OHG zu (BGE 129 IV 206 E. 1). Beim mittellosen Rechtssuchenden geht es sodann nicht um eine Entschädigung, wie sie der Beschwerdeführer anstrebt, sondern es soll ihm der Zugang zur Justiz ermöglicht werden, wobei allerdings die Kostendeckung auf das Notwendige beschränkt ist.
4.2 Inwiefern das Gebot des fairen Verfahrens nach Art. 6 Ziff. 1 EMRK verletzt sein soll, begründet der Beschwerdeführer nicht näher. Aus dieser Verfahrensgarantie ergibt sich kein unbedingter Anspruch, für die Rechtsvertretung bei der Teilnahme an einem Strafverfahren unabhängig von der Geltendmachung eines Zivilanspruchs entschädigt zu werden.
4.3 Was schliesslich den Willkürvorwurf anbelangt, hat das Bundesgericht bereits entschieden, es sei jedenfalls nicht willkürlich anzunehmen, nach der Strafprozessordnung des Kantons Schwyz bestehe kein Anspruch auf Entschädigung, soweit sich Opfer oder Geschädigter als Strafkläger am Strafverfahren gegen den Täter beteiligten (Urteil des Bundesgerichts 6B_184/2007 vom 7. September 2007 E. 3.5).
4.4 Soweit zulässige Rügen einer Verletzung verfassungsmässiger Rechte vorgetragen werden, erweisen sich diese als unbegründet, weshalb die subsidiäre Verfassungsbeschwerde abzuweisen ist.
5. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2. Die subsidiäre Verfassungsbeschwerde wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 19. Juni 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz