Erwägungen:
1.
A._ stellte am 14. März 2013 bei der Staatsanwaltschaft Bischofszell Strafantrag gegen B._ wegen Verleumdung, allenfalls übler Nachrede. Er warf diesem vor, ihn in Leserbriefen der Lügen bezichtigt und seinen Ruf geschädigt zu haben. Die Staatsanwaltschaft verfügte am 23. April 2013 die Nichtanhandnahme der Untersuchung.
Das Obergericht des Kantons Thurgau wies die hiegegen erhobene Beschwerde von A._ am 25. Juli 2013 ab.
2.
2.1. Mit Beschwerde in Strafsachen beantragt A._, der Entscheid des Obergerichts sei aufzuheben und die Sache zur Eröffnung einer Strafuntersuchung an die Staatsanwaltschaft zurückzuweisen. Er rügt sinngemäss eine Verletzung von Art. 310 Abs. 1 lit. a StPO. Der angefochtene Entscheid enthalte mehrere Punkte, die die Beschwerdegegnerin "im Verfahren nach Art. 318 Abs. 1 StPO" anders entscheiden könne oder müsse.
2.2. Der Strafantragsteller ist zur Beschwerde in Strafsachen berechtigt, soweit es um das Strafantragsrecht als solches geht (Art. 81 Abs. 1 lit. b Ziff. 6 BGG). Die Beschwerde betrifft diese Frage nicht, weshalb die Legitimation unter diesem Titel nicht gegeben ist (vgl. Urteil 6B_755/2013 vom 24. Februar 2014 E. 1.1 mit Hinweis).
2.3. Auch bei Ehrverletzungsdelikten ist der Privatkläger nur dann beschwerdeberechtigt, wenn der angefochtene Entscheid sich auf die Beurteilung seiner Zivilansprüche auswirken kann (Art. 81 Abs. 1 lit. b Ziff. 5 BGG; ausführlich Urteil 6B_94/2013 vom 3. Oktober 2013 E. 1.1). Dies ist vorliegend nicht der Fall. Der Beschwerdeführer hat in seiner Strafanzeige ausdrücklich festgehalten, allfällige Zivilansprüche auf dem Zivilrechtsweg geltend zu machen. Das Strafverfahren ist nicht blosses Vehikel zur Durchsetzung von Zivilforderungen in einem Zivilprozess, den das Opfer erst nach Abschluss des Strafprozesses, je nach dessen Ausgang, anzustrengen gedenkt (BGE 137 IV 246 E. 1.3.1 S. 248).
2.4. Unbekümmert um die fehlende Legitimation in der Sache kann die Privatklägerschaft die Verletzung von Verfahrensrechten geltend machen, deren Missachtung eine formelle Rechtsverweigerung darstellt. Zulässig sind Rügen formeller Natur, die von der Prüfung der Sache getrennt werden können (BGE 138 IV 248 E. 2). Unzulässig sind Rügen, deren Beurteilung von der Prüfung in der Sache nicht getrennt werden kann und die im Ergebnis auf eine materielle Überprüfung des angefochtenen Entscheids abzielen.
Der Beschwerdeführer erhebt keine Rügen formeller Natur, sondern wendet sich gegen die materielle Begründung des angefochtenen Entscheids. Hierauf ist nicht einzutreten (vgl. Urteil 6B_755/2013 vom 24. Februar 2014 E. 1.3 mit Hinweis).
3.
3.1. Der Beschwerdeführer wendet sich gegen den Kostenentscheid. Er rügt, der Beizug eines Verteidigers sei bei einer Nichtanhandnahme des Strafverfahrens nicht erforderlich. Die Argumente des Beschwerdegegners gingen mehrheitlich an der Sache vorbei, und der veranschlagte Zeitaufwand sei unverhältnismässig. Der Beschwerdegegner habe das Strafverfahren verschuldet, da seine Äusserungen zumindest zivilrechtlich persönlichkeitsverletzenden Charakter hätten.
3.2. Der Beschwerdeführer ist durch den vorinstanzlichen Kostenentscheid unmittelbar betroffen und hat ein rechtlich geschütztes Interesse an dessen Aufhebung im Sinne von Art. 81 Abs. 1 lit. b BGG (vgl. BGE 138 IV 248 E. 2; Urteil 6B_704/2011 vom 11. Juli 2012 E. 1.3, nicht publiziert in: BGE 138 IV 197).
3.3.
3.3.1. Gemäss Art. 428 Abs. 1 StPO tragen die Parteien die Kosten des Rechtsmittelverfahrens nach Massgabe ihres Obsiegens oder Unterliegens. Obsiegt die beschuldigte Person bei Antragsdelikten im Schuldpunkt, so können die antragstellende Person, sofern diese mutwillig oder grob fahrlässig die Einleitung des Strafverfahrens bewirkt oder dessen Durchführung erschwert hat, oder die Privatklägerschaft verpflichtet werden, der beschuldigten Person die Aufwendungen für die angemessene Ausübung ihrer Verfahrensrechte zu ersetzen (Art. 432 Abs. 2 StPO). Die Verlegung der Kosten richtet sich nach dem Grundsatz, wonach Kosten zu tragen hat, wer sie verursacht. Wird das ausschliesslich von der Privatklägerschaft erhobene Rechtsmittel abgewiesen, hat sie die durch angemessene Ausübung der Verfahrensrechte entstandenen Verteidigungskosten der beschuldigten Person zu tragen (vgl. Botschaft vom 21. Dezember 2005 zur Vereinheitlichung des Strafprozessrechts, BBl 2005 1327 Ziff. 2.10.2; BGE 139 IV 45 E. 1; 138 IV 248 E. 5.1 und 5.3; jeweils mit Hinweisen).
Ob der Beizug eines Wahlverteidigers und der von diesem betriebene Aufwand eine angemessene Ausübung der Verfahrensrechte im Sinne von Art. 432 Abs. 2 StPO darstellen, prüft das Bundesgericht frei. Es auferlegt sich indessen eine gewisse Zurückhaltung gegenüber der vorinstanzlichen Einschätzung, insbesondere hinsichtlich der Frage, welcher Aufwand des Verteidigers im konkreten Fall noch als angemessen zu bezeichnen ist (BGE 138 IV 197 E. 2.3.3-2.3.6).
3.3.2. Der Beschwerdeführer hat das Rechtsmittelverfahren mit seiner Beschwerde gegen die Nichtanhandnahmeverfügung eingeleitet und die Durchführung eines Strafverfahrens gegen den Beschwerdegegner beantragt. Er trägt damit das vollständige Kostenrisiko. Ob er mit seinen Äusserungen allenfalls die Einleitung des Strafverfahrens rechtswidrig und schuldhaft bewirkt hat, kann offenbleiben. Die Kosten des Vorverfahrens wurden nicht dem Beschwerdeführer auferlegt, sondern auf die Staatskasse genommen. Art. 426 Abs. 2 StPO findet hingegen im Rechtsmittelverfahren keine Anwendung (vgl. Art. 428 StPO). Der Einwand, für das Nichtanhandnahmeverfahren sei kein Rechtsbeistand erforderlich, geht an der Sache vorbei. Der Beschwerdegegner verlangt lediglich eine Entschädigung für die von seinem Verteidiger im gerichtlichen Beschwerdeverfahren gemachten Aufwendungen und nicht für die Verbeiständung im Vorverfahren. Dass der juristisch unkundige Beschwerdegegner mit Übergang des Verfahrens von den Strafverfolgungsbehörden ans Gericht einen Rechtsbeistand beizieht, ist nicht zu beanstanden. Als juristischer Laie kannte er die Abläufe des Beschwerdeverfahrens nicht und konnte die Erfolgsaussichten des vom Bescherdeführer eingelegten Rechtsmittels nicht beurteilen. Dieser hätte als ausgebildeter Jurist damit rechnen müssen, dass der Beschwerdegegner sich im Falle einer Beschwerde anwaltlich vertreten lässt, um keinen Rechtsnachteil zu erleiden.
Soweit der Beschwerdeführer sich gegen die Höhe der zugesprochenen Entschädigung wendet, genügen seine Vorbringen nicht den Begründungsanforderungen im Sinne von Art. 42 Abs. 2 BGG. Auch wenn 11.75 Arbeitsstunden angesichts des unstreitigen Sachverhalts und der einfachen Rechtsfragen als überaus hoch erscheinen, zeigt der Beschwerdeführer nicht auf, welche Aufwendungen der Sache nach und/oder vom Umfang her unangemessen sein sollen und inwieweit die Vorinstanz das ihr zustehende Ermessen überschritten haben soll.
3.
Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen, soweit darauf eingetreten werden kann. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Dem Beschwerdegegner ist keine Entschädigung auszurichten, weil er vor Bundesgericht keine Umtriebe hatte und keine Anträge gestellt hat.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 19. Mai 2014
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Held