Sachverhalt:
A.
Mit Eingabe vom 10. September 2012 reichte X._ beim Bezirksgericht Horgen eine "Aufsichtsanzeige" gegen die Friedensrichterin am Friedensrichteramt Adliswil ein und beantragte die Vornahme einer Geschäftsführungskontrolle. Zur Begründung führte er aus, anlässlich der Verhandlung vor der Friedensrichterin vom 14. Juni 2012 habe er mit der Gegenpartei einen Vergleich abgeschlossen, wonach er einen Drittel der Verfahrenskosten zu tragen habe. Die Friedensrichterin habe ihm jedoch zunächst einen zu hohen Betrag in Rechnung gestellt und ihn alsdann trotz fristgerechter Bezahlung des geschuldeten Betrags gemahnt.
Mit Beschluss vom 29. Januar 2013 wies das Bezirksgericht Horgen als untere Aufsichtsbehörde die Beschwerde ab und auferlegte X._ die Verfahrenskosten von Fr. 500.--.
Gegen diesen Entscheid erhob X._ mit Eingabe vom 10. Februar 2013 Aufsichtsbeschwerde ans Obergericht des Kantons Zürich, Verwaltungskommission, als obere Aufsichtsbehörde.
Mit Beschluss vom 25. März 2013 wies das Obergericht die Aufsichtsbeschwerde ab, soweit es darauf eintrat.
B.
Mit Eingabe vom 8. Mai 2013 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des Beschlusses des Obergerichts vom 25. März 2013.
Das Bezirksgericht Horgen und das Obergericht verzichten auf Vernehmlassungen.

Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die Zulässigkeit der Beschwerde von Amtes wegen (<ref-law>; <ref-ruling> E. 1.1 S. 251).
Angefochten ist ein Endentscheid einer letzten kantonalen Instanz. Der Beschwerdeführer erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde. Gemäss <ref-law> ist die Verfassungsbeschwerde subsidiär im Verhältnis zu den ordentlichen Beschwerden nach den Art. 72 - 89 BGG, d.h. zu den Beschwerden in Zivilsachen (Art. 72 - 77 BGG), in Strafsachen (Art. 78 - 81) und in öffentlich-rechtlichen Angelegenheiten (Art. 82 - 89). Vorliegend kann offen gelassen werden, ob die Bezeichnung des Rechtsmittels als Beschwerde in öffentlich-rechtlichen Angelegenheiten und als subsidiäre Verfassungsbeschwerde korrekt ist, da sich die Beschwerde ohnehin als unbegründet erweist.
1.2. Nach <ref-law> ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>). Das bedingt aber, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die Begründungsanforderungen von <ref-law> erfüllt.
Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.6 S. 130; <ref-ruling> E. 2.1 und 2.2 S. 245 f.; je mit Hinweisen).
2.
2.1. Auszugehen ist von folgendem willkürfrei festgestellten Sachverhalt:
Die Friedensrichterin stellte dem Beschwerdeführer nach der Verhandlung vom 14. Juni 2012 eine Rechnung über Fr. 150.-- zu, obgleich dieser nur einen Drittel der auf Fr. 350.-- bestimmten Verfahrenskosten schuldete. Die Friedensrichterin korrigierte ihr Versehen umgehend, nachdem sie vom Beschwerdeführer darauf hingewiesen worden war. Am 13. August 2012 erhielt der Beschwerdeführer sodann eine Mahnung über den Betrag von Fr. 117.--, obwohl er den geschuldeten Betrag bereits am 31. Juli 2012 einbezahlt hatte. Dies teilte er der Friedensrichterin am 30. August 2012 mit und reichte am 10. September 2012 eine "Aufsichtsanzeige" ans Bezirksgericht Horgen ein. Die Friedensrichterin bestätigte dem Beschwerdeführer mit Schreiben vom 12. September 2012, dass die Zahlung am 3. August 2012 gutgeschrieben und die Mahnung irrtümlich verschickt worden sei. Sie entschuldigte sich für den Irrtum und die entstandenen Umtriebe. Dennoch hielt der Beschwerdeführer in seiner Eingabe vom 30. September 2012 an seiner Aufsichtsbeschwerde fest.
2.2. Die Vorinstanz hat erwogen, der Beschwerdeführer rüge nicht den im Schlichtungsverfahren abgeschlossenen Vergleich, sondern das Verhalten der Friedensrichterin im Rahmen des Schlichtungsverfahrens. Mit einer administrativen Aufsichtsbeschwerde gemäss § 82 Abs. 1 des Gesetzes des Kantons Zürich vom 10. Mai 2010 über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess (GOG/ZH; LS 211.1) könne die (untere) Aufsichtsbehörde auf ein vermeintlich ordnungs- und rechtswidriges Verhalten einer Justizperson hingewiesen werden. Das administrative Aufsichtsbeschwerdeverfahren betreffe indes einzig das Verhältnis zwischen der Aufsichtsbehörde und der beaufsichtigten Person. Die anzeigeerstattende Person sei hingegen nicht Verfahrenspartei und daher auch nicht zur Ergreifung eines Rechtsmittels an die obere Aufsichtsbehörde berechtigt. Folglich sei mangels Legitimation des Beschwerdeführers auf die Beschwerde nicht einzutreten, soweit dieser rüge, die Friedensrichterin habe eine Amtspflichtverletzung begangen, indem sie ihm einen zu hohen Betrag in Rechnung gestellt und ihn in der Folge trotz Zahlung gemahnt habe (vgl. angefochtener Beschluss E. 1 und 2).
2.3. Verletzen Mitglieder von Gerichts- und Schlichtungsbehörden sowie von angegliederten Kommissionen Amtspflichten, kann gemäss § 82 Abs. 1 GOG/ZH bei der unmittelbaren Aufsichtsbehörde Aufsichtsbeschwerde erhoben werden.
2.4. Der Beschwerdeführer führt aus, falls es so sein sollte, dass der Anzeigeerstatter im Fall einer administrativen Aufsichtsbeschwerde den Entscheid der unteren Aufsichtsbehörde nicht an die obere Aufsichtsbehörde weiterziehen könne, so könnten ihm beim Weiterzug höchstens dann Kosten auferlegt werden, wenn seine Vorbringen gegen die Kostenauflage nicht durchdringen würden.
Der Beschwerdeführer macht mithin nicht geltend, die Vorinstanz habe § 82 GOG/ZH willkürlich angewendet, indem sie seine Legitimation zur Anfechtung des Beschlusses des Bezirksgerichts Horgen vom 29. Januar 2013 teilweise verneint habe. Eine willkürliche Anwendung kantonalen Rechts ist auch nicht ersichtlich. Vielmehr stützen sich die Ausführungen der Vorinstanz auf die Lehre und die ständige kantonale Rechtsprechung ab, wonach dem Anzeigeerstatter kein Beschwerderecht zusteht, wenn die untere Aufsichtsbehörde von einer Massnahme gegen die verzeigte Person absieht (vgl. Robert Hauser/Erhard Schweri/Viktor Lieber, Kommentar zum zürcherischen Gesetz über die Gerichts- und Behördenorganisation im Zivil- und Strafprozess, 2012, § 82 N. 45 mit Hinweisen auf die kantonale Praxis). Dies ist auch im Ergebnis haltbar.
3.
3.1. Die Vorinstanz hat ausgeführt, soweit sich der Beschwerdeführer gegen die Kostenauflage durch das Bezirksgericht wende, sei auf die Beschwerde einzutreten. Die Verfahrenskosten seien gemäss § 83 Abs. 3 GOG/ZH i.V.m. <ref-law> (SR 272) grundsätzlich der unterliegenden Partei aufzuerlegen. Der Beschwerdeführer sei im bezirksgerichtlichen Verfahren unterlegen, und es liege keine Ausnahme i.S.v. Art. 107 Abs. 1 lit. b bzw. lit. f ZPO vor. Die Beschwerde sei deshalb insoweit abzuweisen (vgl. angefochtener Beschluss E. 3).
3.2. Der Beschwerdeführer macht geltend, er habe gar keine formelle Aufsichtsbeschwerde gemäss §§ 82 ff. GOG/ZH, sondern eine Petition i.S.v. <ref-law> eingereicht. Nach dieser Bestimmung habe jede Person das Recht, Petitionen an Behörden zu richten, und es dürften ihr hieraus keine (finanziellen) Nachteile erwachsen. Die Kostenauflage verstosse damit gegen <ref-law>.
Aber selbst wenn seine Eingabe als Aufsichtsbeschwerde qualifiziert werden sollte, verletze der angefochtene Beschluss Bundesrecht, weil die Vorinstanz die Anwendbarkeit von Art. 107 Abs. 1 lit. b bzw. f ZPO zu Unrecht verneint habe.
3.3. Der Beschwerdeführer reichte, wie dargelegt, am 10. September 2012 beim Bezirksgericht Horgen eine "Aufsichtsanzeige" gegen die Friedensrichterin ein. Den abweisenden Beschluss des Bezirksgerichts als untere Aufsichtsbehörde vom 29. Januar 2013 betreffend "Aufsichtsbeschwerde" focht er mit "Beschwerde gemäss § 84 GOG" bei der Vorinstanz an (vgl. auch Sachverhalt lit. A. hiervor).
Wenn der Beschwerdeführer nun im bundesgerichtlichen Verfahren erstmals vorbringt, er habe eine Petition nach <ref-law> und nicht eine formelle Aufsichtsbeschwerde gemäss §§ 82 ff. GOG/ZH eingereicht, so ist dies als blosse Schutzbehauptung zu werten. Die Vorinstanzen haben zu Recht ein Aufsichtsbeschwerdeverfahren durchgeführt.
3.4. Nach § 83 Abs. 3 GOG/ZH finden die Vorschriften der ZPO im Aufsichtsbeschwerdeverfahren sinngemäss Anwendung. Gemäss <ref-law> mit dem Randtitel "Verteilungsgrundsätze" werden die Prozesskosten der unterliegenden Partei auferlegt (vgl. Abs. 1). Nach <ref-law> kann das Gericht von den Verteilungsgrundsätzen abweichen und die Prozesskosten nach Ermessen verteilen, wenn eine Partei in guten Treuen zur Prozessführung veranlasst war (Abs. 1 lit. b), oder wenn wenn andere besondere Umstände vorliegen, die eine Verteilung nach dem Ausgang des Verfahrens als unbillig erscheinen lassen (Abs. 1 lit. f).
Soweit das einschlägige kantonale Recht auf die ZPO verweist, gelten deren Bestimmungen als (subsidiäres) kantonales Recht (vgl. Urteil 5A_134/2012 vom 7. Mai 2012 E. 4.2; siehe auch Hauser/Schweri/Lieber, a.a.O., § 83 N. 21), dessen Anwendung das Bundesgericht nur auf Willkür hin prüft.
3.5. Die Vorinstanz hat erwogen, auf <ref-law> könne sich insbesondere berufen, wer grundsätzlich zu Recht eine Klage eingeleitet habe, aber wegen einer Praxisänderung des Gerichts oder infolge anderer unvorhersehbarer Ereignisse unterliege. Ein solcher Fall sei hier nicht gegeben. Ebenso wenig könne von besonderen Umständen i.S.v. <ref-law> gesprochen werden. Allein aus den zwei Versehen der Friedensrichterin - die denn auch korrigiert worden seien und für welche sich die Friedensrichterin entschuldigt habe - könne nicht der Schluss gezogen werden, dass eine unter aufsichtsrechtlichen Aspekten massgebende Amtspflichtverletzung erfolgt sei, stelle doch nicht jeder Fehler eine solche Pflichtverletzung dar (vgl. angefochtener Beschluss E. 3).
Diese Ausführungen der Vorinstanz zu Art. 107 Abs. 1 lit. b und f ZPO sind sachlich vertretbar. Den Beschwerdeführer als unterliegend zu qualifizieren und die Anwendbarkeit von <ref-law> zu verneinen, verletzt das Willkürverbot von <ref-law> nicht.
4.
4.1. Der Beschwerdeführer macht schliesslich wie bereits im vorinstanzlichen Verfahren geltend, die Friedensrichterin habe in einem an die leitende Gerichtsschreiberin des Bezirksgerichts Horgen gerichteten Schreiben die Du-Form verwendet. Die leitende Gerichtsschreiberin hätte deshalb in den Ausstand treten müssen. Der Beschluss sei wegen Anscheins der Befangenheit im erstinstanzlichen Verfahren aufzuheben. Angerufen sei das Recht auf den verfassungsmässigen Richter gemäss Art. 6 EMRK, <ref-law> und <ref-law>.
4.2. Soweit die Beschwerde insoweit den gesetzlichen Anforderungen an die Begründung von Beschwerden wegen Verletzung verfassungsmässiger Rechte überhaupt genügt (vgl. E. 1.2 hiervor), ist sie als offensichtlich unbegründet abzuweisen. Wie die Vorinstanz zu Recht erwogen hat, kann aus der Tatsache, dass die Friedensrichterin die Leitende Gerichtsschreiberin am Bezirksgericht Horgen in einer Eingabe geduzt hat, nicht auf eine besondere Freundschaft zwischen den beiden Personen respektive auf eine Befangenheit der Gerichtsschreiberin geschlossen werden (vgl. angefochtener Beschluss E. 4).
5.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Die Gerichtskosten sind dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Friedensrichteramt Adliswil, dem Bezirksgericht Horgen und dem Obergericht des Kantons Zürich, Verwaltungskommission, schriftlich mitgeteilt.
Lausanne, 26. Juni 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner