Sachverhalt: A. Mit Eingabe vom 10. September 2012 reichte X._ beim Bezirksgericht Horgen eine "Aufsichtsanzeige" gegen die Friedensrichterin am Friedensrichteramt Adliswil ein und beantragte die Vornahme einer Geschäftsführungskontrolle. Zur Begründung führte er aus, anlässlich der Verhandlung vor der Friedensrichterin vom 14. Juni 2012 habe er mit der Gegenpartei einen Vergleich abgeschlossen, wonach er einen Drittel der Verfahrenskosten zu tragen habe. Die Friedensrichterin habe ihm jedoch zunächst einen zu hohen Betrag in Rechnung gestellt und ihn alsdann trotz fristgerechter Bezahlung des geschuldeten Betrags gemahnt. Mit Beschluss vom 29. Januar 2013 wies das Bezirksgericht Horgen als untere Aufsichtsbehörde die Beschwerde ab und auferlegte X._ die Verfahrenskosten von Fr. 500.--. Gegen diesen Entscheid erhob X._ mit Eingabe vom 10. Februar 2013 Aufsichtsbeschwerde ans Obergericht des Kantons Zürich, Verwaltungskommission, als obere Aufsichtsbehörde. Mit Beschluss vom 25. März 2013 wies das Obergericht die Aufsichtsbeschwerde ab, soweit es darauf eintrat. B. Mit Eingabe vom 8. Mai 2013 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des Beschlusses des Obergerichts vom 25. März 2013. Das Bezirksgericht Horgen und das Obergericht verzichten auf Vernehmlassungen.