Sachverhalt:
A.
Mit verschiedenen Eingaben zwischen dem 27. Juli 2017 und dem 15. August 2017 stellte A._ verschiedene Strafanzeigen bzw. Strafanträge gegen X._, zum Teil auch gegen andere Personen. Das Untersuchungsamt St. Gallen verfügte am 17. August 2017, dass ein Strafverfahren gegen X._ nicht an die Hand genommen werde.
B.
A._ erhob am 18. August 2017 Beschwerde gegen die Nichtanhandnahmeverfügung. Die Anklagekammer hob diese am 15. November 2017 in Bezug auf die Kostenauflage an den Beschwerdeführer auf. Im Übrigen wies sie die Beschwerde von A._ ab. Die Anklagekammer auferlegte A._ drei Viertel der Verfahrenskosten (von Fr. 1'600.--) sowie die Entschädigung an den Rechtsvertreter von X._ in der Höhe von Fr. 800.--.
C.
A._ führt Beschwerde in Strafsachen gegen den Entscheid der Anklagekammer. Er wendet sich gegen die Verteilung der Kosten und Entschädigungen. Der Beschwerde sei die aufschiebende Wirkung zu erteilen.
Die Vorinstanz und X._ beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Staatsanwaltschaft verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Der Beschwerdeführer erklärt ausdrücklich, dass sich seine Beschwerde nur gegen die Auflage der Kosten und der Parteientschädigung im vorinstanzlichen Verfahren richte. Demnach ist auf die Beschwerde nicht einzutreten, soweit der Beschwerdeführer vorbringt, die Staatsanwaltschaft habe seinen Anspruch auf rechtliches Gehör verletzt und das Bundesgericht habe diesen Umstand zu prüfen. Überdies erklärt die Vorinstanz im angefochtenen Entscheid, weshalb die Staatsanwaltschaft vor dem Erlass der Nichtanhandnahmeverfügung dem Beschwerdeführer das rechtliche Gehör nicht gewähren musste (Entscheid, S. 9). Der Beschwerdeführer setzt sich mit den entsprechenden Erwägungen nicht auseinander, womit die Begründung der Beschwerde den Anforderungen von <ref-law> nicht genügt.
2.
Der Beschwerdeführer rügt, die Vorinstanz habe ihm die Verfahrenskosten mit der Begründung auferlegt, er habe sein Einkommen nicht hinreichend belegt. Die Vorinstanz habe es unterlassen, ihm eine Nachfrist zur Einreichung der fehlenden Unterlagen anzusetzen.
Die Vorinstanz erwägt, dass die Beschwerde - soweit sie nicht die Kostenauflage durch die Staatsanwaltschaft betraf - aussichtslos war. Überdies habe es der Beschwerdeführer unterlassen, sein angeblich ungenügendes Einkommen trotz klarer Aufforderung auf dem entsprechenden Formular näher anzugeben oder zu belegen. Das Gesuch um unentgeltliche Rechtspflege, welches der Beschwerdeführer am 15. September 2017 gestellt hatte, sei deshalb abzuweisen, soweit es nicht gegenstandslos geworden sei (Entscheid, S. 9 f.).
Nach <ref-law> gewährt die Verfahrensleitung der Privatklägerschaft für die Durchsetzung ihrer Zivilansprüche ganz oder teilweise die unentgeltliche Rechtspflege, wenn diese nicht über die erforderlichen Mittel verfügt (lit. a) und die Zivilklage nicht aussichtslos erscheint (lit. b). Die Vorinstanz verweigert dem Beschwerdeführer die unentgeltliche Rechtspflege nicht nur, weil dieser seine Bedürftigkeit nicht belegt haben soll, sondern auch infolge Aussichtslosigkeit der Beschwerde. Die beiden Voraussetzungen von <ref-law> müssen kumulativ erfüllt sein, damit die unentgeltliche Rechtspflege gewährt werden kann. Sind die Begehren aussichtslos, ist nicht entscheidend, ob die finanziellen Verhältnisse des Antragstellers hinreichend belegt sind. Zur Voraussetzung von <ref-law> äussert sich der Beschwerdeführer nicht. Auf die Beschwerde ist in diesem Punkt mangels hinreichender Begründung nicht einzutreten (<ref-law>).
3.
Der Beschwerdeführer rügt, die Vorinstanz habe ihm keine Parteientschädigung zugesprochen mit der Begründung, dass er keine Aufwendungen gehabt habe. Obwohl seine Eingabe keinen grossen Aufwand verursacht habe, habe er Auslagen gehabt, wie etwa Porto, Zeitaufwand, Beizug eines Rechtsanwalts und Abklärungen. Selbst als Laie habe er daher Anspruch auf eine Parteientschädigung.
Die angeblichen Auslagen sind weder belegt noch beziffert. Auf die Rüge ist deshalb mangels hinreichender Begründung nicht einzutreten. Damit kann offenbleiben, ob der nicht anwaltlich vertretene Beschwerdeführer grundsätzlich Anspruch auf eine Parteientschädigung hätte.
4.
Der Beschwerdeführer rügt, die der Beschwerdegegnerin 2 zugesprochene Parteientschädigung sei zu hoch.
Ansprüche auf Entschädigung und Genugtuung im Rechtsmittelverfahren richten sich nach den Artikeln 429-434 der Strafprozessordnung (<ref-law>). Gemäss <ref-law> hat die obsiegende beschuldigte Person gegenüber der Privatklägerschaft Anspruch auf angemessene Entschädigung für die durch die Anträge zum Zivilpunkt verursachten Aufwendungen (Abs. 1). Bei Antragsdelikten können die Verteidigungskosten der Privatklägerschaft auch dann auferlegt werden, wenn die beschuldigte Person im Schuldpunkt obsiegt (Abs. 2). Überdies trägt die Privatklägerschaft die Kosten der Verteidigung, wenn ein vollständiges gerichtliches Verfahren stattfand und der erstinstanzliche Entscheid einzig von der Privatklägerschaft weitergezogen wird (<ref-ruling> E. 1.2; Urteil 6B_510/2017 vom 20. Dezember 2017 E. 4.2).
Die Staatsanwaltschaft erledigte die Anzeigen mittels einer Nichtanhandnahmeverfügung, womit ein vollständiges gerichtliches Verfahren im Sinne der erwähnten Rechtsprechung nicht stattfand. Aus dem blossen Unterliegen im Rechtsmittelverfahren ergibt sich daher keine Pflicht des Beschwerdeführers, die Kosten der Verteidigung zu tragen. Eine solche Pflicht richtet sich vorliegend daher ausschliesslich nach <ref-law>. Die Anzeigen des Beschwerdeführers bezogen sich auf drei Offizialdelikte (Nötigung, Betrug und Übertretung des kantonalen Feuerschutzgesetzes) und ein Antragsdelikt (Widerhandlung gegen die Bestimmungen zum Schutz der Mieter von Wohn- und Geschäftsräumen, <ref-law>). In der Vernehmlassung vom 10. Oktober 2017 (Akten Vorinstanz, act. 23) äussert sich die Beschwerdegegnerin 2 nicht zu allfälligen Zivilforderungen. In Bezug auf die Offizialdelikte liegen somit keine durch die Anträge zum Zivilpunkt verursachten Aufwendungen vor, welche es gemäss <ref-law> erlauben würden, dem Beschwerdeführer die Kosten der Verteidigung aufzuerlegen. Dies ist hingegen der Fall hinsichtlich des Tatbestandes von <ref-law>, zumal der Beschwerdeführer in diesem Punkt als Privatkläger im vorinstanzlichen Verfahren unterlag (<ref-law>; siehe auch <ref-ruling> E. 4.2.2 und 4.2.3). Der angefochtene Entscheid ist in diesem Punkt aufzuheben und die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen.
5.
Der Beschwerdeführer rügt, die Vorinstanz habe ein Viertel der Gerichtskosten dem Staat statt der Beschwerdegegnerin 2 auferlegt. Der Beschwerdeführer ist von dieser Kostenauflage nicht betroffen. Er ist daher in diesem Punkt nicht zur Beschwerde legitimiert (<ref-law>). Auf die Rüge ist nicht einzutreten.
6.
Die Beschwerde ist in Bezug auf die dem Beschwerdeführer auferlegte Parteienschädigung aufzuheben und die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Im Übrigen ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
Der Beschwerdeführer und die Beschwerdegegnerin 2 tragen die Kosten des Verfahrens im Umfang ihres jeweiligen Unterliegens (<ref-law>). Zumal er sich nicht anwaltlich vertreten liess, hat der Beschwerdeführer keinen Anspruch auf eine Parteientschädigung. Er legt auch nicht dar, inwiefern besondere Umstände vorliegen, die eine Entschädigung rechtfertigen würden (vgl. <ref-ruling> E. 5b mit Hinweisen). Die Beschwerdegegnerin 2 liess sich hingegen vertreten und nahm am Verfahren vor dem Bundesgericht teil. Sie hat daher Anspruch auf eine Parteientschädigung im Umfang ihres Obsiegens (<ref-law>). Dabei ist zu berücksichtigen, dass der Beschwerdegegnerin 2 nur ein geringer Aufwand entstanden ist (knappe, einseitige Vernehmlassung). Das Gesuch um aufschiebende Wirkung wird mit dem Entscheid in der Sache gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Ziffer 4 des Dispositivs des Entscheids der Anklagekammer des Kantons St. Gallen vom 15. November 2017 wird aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2.
Dem Beschwerdeführer werden Gerichtskosten von Fr. 2'400.-- auferlegt.
3.
Der Beschwerdegegnerin 2 werden Gerichtskosten von Fr. 600.-- auferlegt.
4.
Der Beschwerdeführer hat der Beschwerdegegnerin 2 eine Parteientschädigung von Fr. 300.-- zu bezahlen.
5.
Dieses Urteil wird den Parteien und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 22. August 2018
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: Moses