Sachverhalt:
A.
Gestützt auf eine E-Mail von A._ vom 18. Februar 2015 eröffnete der Bezirksrat Bülach ein aufsichtsrechtliches Verfahren gegen die Stadträtin B._. A._ hatte angezweifelt, dass B._ ihren politischen Wohnsitz in U._ hatte. Das Verfahren wurde im April 2015 abgeschlossen.
Am 2. November 2016 ersuchte B._ den Bezirksrat um Einsicht in verschiedene Aktenstücke. Am 16. November 2016 beschloss der Bezirksrat, ihr die E-Mail vom 18. Februar 2015 zuzustellen. A._, dem der Bezirksrat keine Gelegenheit zur Stellungnahme gegeben hatte, erhob am 4. Januar 2017 Rekurs an den Regierungsrat des Kantons Zürich. Er beantragte, der Beschluss des Bezirksrats sei aufzuheben (Ziff. 1) und die Sache sei zur Neubeurteilung an diesen zurückzuweisen (Ziff. 2). Eventualiter sei das Gesuch vom 2. November 2016 abzuweisen (Ziff. 3). Die Kosten- und Entschädigungsfolgen seien zu Lasten von B._ festzulegen (Ziff. 4). Zur Begründung machte er hauptsächlich eine Verletzung seines Anspruchs auf rechtliches Gehör geltend. Mit Schreiben vom 24. Mai 2017 teilte ihm der Regierungsrat mit, er beabsichtigte, die durch den Bezirksrat begangene Gehörsverletzung zu heilen. Gleichzeitig forderte er ihn auf, zur Frage der Bekanntgabe der erwähnten E-Mail Stellung zu nehmen. Dieser Aufforderung kam A._ mit Eingabe vom 4. Januar 2017 nach. Er hielt mit Hinweis auf Ziff. 1 und 2 seiner Rekurseingabe fest, er erachte die Gehörsverletzung damit als geheilt.
Mit Beschluss vom 6. Dezember 2017 wies der Regierungsrat den Rekurs ab. Er auferlegte die Verfahrenskosten von Fr. 1'177.-- A._ und sprach keine Parteientschädigung zu.
Dagegen erhob A._ Beschwerde beim Verwaltungsgericht des Kantons Zürich. Er verlangte in der Hauptsache die Aufhebung der Kosten- und Entschädigungsfolgen im Beschluss des Regierungsrats sowie die Rückweisung der Sache zur Neubeurteilung. Mit Urteil vom 23. Januar 2019 hiess das Verwaltungsgericht die Beschwerde teilweise gut. Es änderte die Kostenfolgen des regierungsrätlichen Beschlusses dahingehend, als es die Kosten A._ und dem Bezirksrat je zur Hälfte auferlegte. Im Übrigen wies es die Beschwerde ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 4. März 2019 beantragt A._, das Urteil des Verwaltungsgerichts sei aufzuheben und die Sache sei zur Neubeurteilung an die Vorinstanz zurückzuweisen. Eventualiter seien die Gerichtskosten des vorinstanzlichen Verfahrens und die Verfahrenskosten des Rekursverfahrens auf die Staatskasse zu nehmen und ihm selbst sei eine Entschädigung von Fr. 1'000.-- zuzusprechen.
Das Verwaltungsgericht und der Bezirksrat haben auf eine Stellungnahme verzichtet. B._ hat sich nicht vernehmen lassen.

Erwägungen:
1.
Dem angefochtenen Urteil des Verwaltungsgerichts liegt ein Verfahren betreffend Akteneinsicht gestützt auf das Gesetz des Kantons Zürich vom 12. Februar 2007 über die Information und den Datenschutz (IDG; LS 170.4) zu Grunde. Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten das zutreffende Rechtsmittel (<ref-law>). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen, ist wegen der für ihn ungünstigen Regelung der Kosten- und Entschädigungsfolgen vom angefochtenen Entscheid besonders berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Die weiteren Sachurteilsvoraussetzungen sind grundsätzlich erfüllt. Unter Vorbehalt der nachfolgenden Erwägungen ist auf die Beschwerde einzutreten.
2.
2.1. Das Verwaltungsgericht hielt fest, der Bezirksrat habe das rechtliche Gehör des Beschwerdeführers verletzt. Dies hätte der Regierungsrat, der dem Beschwerdeführer nachträglich eine Stellungnahme ermöglicht und dadurch die Gehörsverletzung geheilt habe, bei den Kostenfolgen gemäss § 13 des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 (VRG; LS 175.2) berücksichtigen müssen. Weil der Beschwerdeführer in der Sache unterlegen sei, rechtfertige es sich, ihm die Verfahrenskosten des Rekursverfahrens zur Hälfte aufzuerlegen. Anders verhalte es sich mit der Parteientschädigung gemäss § 17 VRG. Eine Vorinstanz (hier: der Bezirksrat) könne erst entschädigungspflichtig werden, wenn sie auch mehr als die Hälfte der Verfahrenskosten zu tragen habe. Dies treffe im vorliegenden Fall nicht zu, weshalb der Regierungsrat dem Beschwerdeführer zu Recht keine Parteientschädigung zugesprochen habe. Hinzu komme, dass die Rüge der Gehörsverletzung keinen besonderen Aufwand im Sinne von § 17 Abs. 2 lit. a VRG erfordert habe. Auch von daher rechtfertige sich keine Parteientschädigung im Rekursverfahren.
2.2. Nach <ref-law> ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Bei der Rüge der Verletzung von Grundrechten - einschliesslich der willkürlichen Anwendung von kantonalem und kommunalem Recht - gelten qualifizierte Begründungsanforderungen (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Bestehen mehrere voneinander unabhängige Begründungen für den angefochtenen Entscheid, so darf sich der Beschwerdeführer nicht damit begnügen, die eine oder andere als fehlerhaft zu rügen. Vielmehr hat er sich in seiner Beschwerdeschrift substanziiert mit jeder einzelnen auseinanderzusetzen, ansonsten auf das Rechtsmittel nicht eingetreten wird (<ref-ruling> E. 2.4 S. 368; <ref-ruling> E. 2 S. 535; <ref-ruling> E. 6.3 S. 120 f.; je mit Hinweisen).
2.3. Der Beschwerdeführer kritisiert die vorinstanzlichen Erwägungen zu den Entschädigungsfolgen nur insoweit, als er vorbringt, richtigerweise wäre von seinem vollständigen Obsiegen auszugehen gewesen. Mit der davon unabhängigen Begründung des Verwaltungsgerichts, es sei auch nicht von einem besonderen Aufwand im Sinne von § 17 Abs. 2 lit. a VRG auszugehen, setzt er sich nicht auseinander. Die Beschwerde ist in diesem Punkt nicht hinreichend begründet, weshalb darauf nicht einzutreten ist.
2.4. Zur hälftigen Auferlegung der Verfahrenskosten macht der Beschwerdeführer geltend, er hätte vollständig obsiegt, wenn der Regierungsrat die Angelegenheit wegen Verletzung des Anspruchs auf rechtliches Gehör an den Bezirksrat zurückgewiesen hätte. Er habe im Hauptantrag einzig die Rückweisung der Sache an den Bezirksrat verlangt. Weil dieser Hauptantrag vollumfänglich begründet gewesen sei, erscheine die vorinstanzliche Auslegung von § 13 Abs. 2 VRG weder mit dem Verursacher- noch mit dem Unterliegerprinzip vereinbar und verletze das Willkürverbot.
2.5. Willkür in der Rechtsanwendung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht; zudem ist erforderlich, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 4.2 S. 516 mit Hinweisen).
2.6. § 13 Abs. 2 VRG hat folgenden Wortlaut:
"Mehrere am Verfahren Beteiligte tragen die Kosten in der Regel entsprechend ihrem Unterliegen. Kosten, die ein Beteiligter durch Verletzung von Verfahrensvorschriften oder durch nachträgliches Vorbringen solcher Tatsachen oder Beweismittel verursacht, die er schon früher hätte geltend machen können, sind ihm ohne Rücksicht auf den Ausgang des Verfahrens zu überbinden."
Das Verwaltungsgericht hielt nach einer Auseinandersetzung mit seiner eigenen Praxis und der Literatur fest, es lasse sich nicht ausblenden, dass der Beschwerdeführer im Rekursverfahren verloren habe. Gewiss hätte er bei einer Rückweisung an den Bezirksrat zunächst obsiegt. Im Rahmen eines späteren Rekurses hätte er in diesem Fall aber die vollen Kosten tragen müssen und wäre insofern sogar schlechter gefahren.
2.7. Nach der bundesgerichtlichen Rechtsprechung ist dem Umstand, dass ein Beschwerdeführer nur deshalb unterlag, weil ein Verfahrensfehler von der Rechtsmittelinstanz geheilt worden war, bei der Regelung der Kosten- und Entschädigungsfolgen angemessen Rechnung zu tragen. Dies gilt auch dann, wenn das anwendbare kantonale Verfahrensrecht keine entsprechende ausdrückliche Regelung enthält. Bei der Beurteilung, in welchem Umfang die Berücksichtigung des Verfahrensfehlers erfolgt, steht den kantonalen Behörden ein weiter Ermessensspielraum zu (Urteile 1C_254/2017 vom 5. Januar 2018 E. 3.2; 1C_98/2012 vom 7. August 2012 E. 9.3; je mit Hinweisen).
2.8. Indem das Verwaltungsgericht dem Beschwerdeführer die Kosten zur Hälfte auferlegte, verfiel es nicht in Willkür. Nach der erwähnten Rechtsprechung ist von Bundesrechts wegen in derartigen Fällen kein vollständiges Absehen von der Kostenauferlegung erforderlich. Dass der Beschwerdeführer im Rekursverfahren in erster Linie die Rückweisung an den Bezirksrat verlangte, ändert nichts am Umstand, dass er in der Sache selbst unterlag. Im Übrigen erklärte er sich mit der Heilung der Gehörsverletzung in seiner Stellungnahme an den Regierungsrat ausdrücklich einverstanden und nahm insofern von seinem Hauptantrag auf Rückweisung Abstand. Die Rüge der Verletzung des Willkürverbots ist somit unbegründet.
3.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1-3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien, dem Bezirksrat Bülach und dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 12. Dezember 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Dold