Sachverhalt:
A.
Die Eheleute A._ und B._ leben im Kanton Zürich und sind Eltern zweier minderjähriger Kinder. Seit Mai 2019 leben sie getrennt. Am 9. März 2020 kam es zwischen ihnen (und zwei weiteren anwesenden Personen) zu einer heftigen Auseinandersetzung, was das Einschreiten der Kantonspolizei zur Folge hatte. Diese verfügte am 10. März 2020 gestützt auf das Zürcher Gewaltschutzgesetz vom 19. Juni 2006 (LS 351) gegenüber A._ für die Dauer von 14 Tagen verschiedene Massnahmen; namentlich wurde er aus der Wohnung weggewiesen und es wurde ihm ein Rayonverbot auferlegt.
Am 12. März 2020 gelangte A._ an das Bezirksgericht Horgen (Haftrichter) und beantragte die Aufhebung dieser Massnahmen. Dieses Gesuch wies der Haftrichter am 18. März 2020 ab.
B.
Gegen diesen Entscheid führte A._ am 20. März 2020 Beschwerde beim Verwaltungsgericht des Kantons Zürich und beantragte im Wesentlichen dessen Aufhebung.
Mit Urteil vom 18. April 2020 wies das Verwaltungsgericht die Beschwerde ab, soweit es sie nicht als gegenstandslos geworden abschrieb. Die zuständige Einzelrichterin hielt fest, der Haftrichter habe das Gesuch von B._ um Verlängerung der Gewaltschutzmassnahmen mit Urteil vom 24. März 2020 abgewiesen. Da die auf 14 Tage befristeten Massnahmen inzwischen abgelaufen seien, habe A._ kein aktuelles Rechtsschutzinteresse mehr an deren inhaltlicher Beurteilung. Insoweit sei die Beschwerde gegenstandslos geworden. Zu befinden sei einzig noch über die Nebenfolgen des vorinstanzlichen Entscheids und die Rüge der Gehörsverletzung. Bei summarischer Prüfung erweise sich die Entscheidung des Haftrichters nicht als geradezu unhaltbar. Die Kostenregelung sei daher zu bestätigen. Dagegen hielt die Einzelrichterin fest, der Anspruch des Beschwerdeführers auf rechtliches Gehör sei in zweifacher Hinsicht leicht verletzt worden, weshalb es sich rechtfertige, ihm bloss die Hälfte der verwaltungsgerichtlichen Kosten aufzuerlegen. Weiter verpflichtete sie den Beschwerdeführer, seiner Frau eine Parteientschädigung von Fr. 500.-- zu entrichten.
C.
Gegen diesen Entscheid führt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt die Aufhebung des vorinstanzlichen Urteils, eventuell die Aufhebung der Dispositiv-Ziffer 4 betreffend die Parteientschädigung.
B._ stellt den Antrag, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Verwaltungsgericht beantragt deren Abweisung. Die Kantonspolizei hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat repliziert.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer Angelegenheit des öffentlichen Rechts. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht grundsätzlich offen (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG); ein Ausschlussgrund nach <ref-law> liegt nicht vor. Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und ist vor dem Verwaltungsgericht mit seinen Rechtsbegehren nicht durchgedrungen.
1.2. Die Beschwerde an das Bundesgericht hat ein Rechtsbegehren zu enthalten (<ref-law>). Da sie ein reformatorisches Rechtsmittel ist (<ref-law>), muss die beschwerdeführende Partei grundsätzlich einen Antrag in der Sache stellen. Blosse Aufhebungsanträge oder Anträge auf Rückweisung der Sache an die Vorinstanz zu neuem Entscheid genügen an sich nicht. Ein Rückweisungsantrag allein reicht ausnahmsweise aus, wenn das Bundesgericht im Falle einer Gutheissung in der Sache nicht selbst entscheiden könnte (<ref-ruling> E. 1.3 S. 317; <ref-ruling> E. 1.2 S. 135 f.; <ref-ruling> E. 1.3 S. 383).
In seinem Hauptantrag beantragt der Beschwerdeführer einzig die Aufhebung des verwaltungsgerichtlichen Urteils. Eventualiter beantragt er dessen Aufhebung, soweit ihm die Kosten auferlegt wurden. Einen Antrag, wie das Bundesgericht materiell entscheiden sollte, stellt er nicht. Ob der Beschwerdeführer damit den oben umschriebenen Anforderungen genügt, erscheint äusserst zweifelhaft. Da die strittigen Gewaltschutzmassnahmen inzwischen abgelaufen sind, wäre es nahe gelegen - wenn überhaupt, vgl. die nachfolgenden Ausführungen -, allenfalls ein Begehren auf Feststellung von deren Rechtswidrigkeit zu stellen. Aufgrund des Verfahrensausgangs kann allerdings die Frage, ob überhaupt ein rechtsgenüglicher Antrag vorliegt, offengelassen werden.
1.3. Das Verwaltungsgericht ist auf das Rechtsmittel des Beschwerdeführers im Wesentlichen nicht eingetreten. Die Einzelrichterin hat festgehalten, der Haftrichter habe das Gesuch der Beschwerdegegnerin um Verlängerung der Massnahmen mit Urteil vom 24. März 2020 abgewiesen. Die Schutzmassnahmen seien inzwischen abgelaufen. Der Beschwerdeführer sei nicht mehr beschwert. Auf ein aktuelles Interesse an der Beschwerdeführung könne nicht verzichtet werden, weil sich keine Fragen von grundsätzlicher Bedeutung stellten, die sonst nie beurteilt werden könnten. Das Verwaltungsgericht könne die Zulässigkeit von Gewaltschutzmassnahmen jeweils dann beurteilen, wenn auch die Verlängerung bzw. die Nichtverlängerung der Massnahmen angefochten werde.
Mit dieser Argumentation setzt sich der Beschwerdeführer in seiner Rechtsmitteleingabe nicht auseinander. In der Tat hatte er bereits im Zeitpunkt des vorinstanzlichen Urteils kein aktuelles Rechtsschutzinteresse mehr, weil die auf 14 Tage beschränkte Verfügung der Kantonspolizei zu diesem Zeitpunkt nicht mehr in Kraft stand (vgl. <ref-ruling> E. 42. [Entlassung aus der Haft]; Urteile 1C_607/2018 vom 21. April 2020 E. 1.2; 1C_453/2008 vom 12. Februar 2009 E. 1.2). Der Beschwerdeführer setzt sich auch nicht mit der Argumentation der Vorinstanz auseinander, sie habe Gelegenheit, derartige Fälle zu beurteilen, wenn die Verlängerung bzw. die Nichtverlängerung der Massnahmen angefochten werde, weshalb vorliegend keine Konstellation gegeben sei, in der trotz dahin gefallenem Rechtsschutzinteresse dennoch in der Sache entschieden werden müsse.
Daher kann auf die Beschwerde nicht eingetreten werden, soweit der Beschwerdeführer eine inhaltliche Überprüfung der ihm gegenüber, gestützt auf das Zürcher Gewaltschutzgesetz, angeordneten Massnahmen wünscht.
1.4. Immerhin macht der Beschwerdeführer geltend, er habe nun das Stigma einer gewalttätigen Person, was erhebliche Auswirkungen auf das Scheidungsverfahren habe und bei der Regelung der Obhutszuteilung eine wichtige Rolle spiele, zumal Gewaltschutzentscheide routinemässig der Kinder- und Erwachsenenschutzbehörde (KESB) zugeschickt würden. Schliesslich könne der fragliche Entscheid auch Auswirkungen auf seine Aufenthaltsbewilligung haben.
Wollte der Beschwerdeführer damit ein fortbestehendes Rechtsschutzinteresse an der materiellen Beurteilung der Verfügung vom 10. März 2020 geltend machen, könnte ihm nicht gefolgt werden: Wie er in seiner Beschwerde selbst ausführt, hat der Haftrichter in seinem Entscheid vom 24. März 2020, in welchem er das Gesuch um Verlängerung der Gewaltschutzmassnahmen abgewiesen hat, relevante Feststellungen getroffen, welche die genannten Befürchtungen des Beschwerdeführers entkräften. Der Haftrichter hat nicht nur festgehalten, es gebe im zu beurteilenden Konflikt kein klares Täter-Opfer-Schema und es sei überhaupt fraglich, ob eine häusliche Gewaltsituation im Sinne des GSG/ZH vorliege. Der Haftrichter hat auch befunden, seitens der Beschwerdegegnerin seien gegenüber der Polizei wohl "wahrheitswidrige Tatsachen geltend gemacht worden" und es bestehe der Verdacht, dass mit dem vorliegenden Gewaltschutzverfahren versucht werde, im Hinblick auf die bevorstehende Eheschutzverhandlung Tatsachen und Fakten zu schaffen. Aufgrund dieser Feststellungen hat der Beschwerdeführer keine Stigmatisierung zu befürchten.
2.
Hat eine Partei kein aktuelles Interesse mehr an der Anfechtung des Entscheids in der Hauptsache, so kann sie immer noch den vorinstanzlichen Kostenentscheid anfechten. Allerdings kann sie auf diesem Weg keine (indirekte) Überprüfung des Entscheids in der Hauptsache erlangen, sondern lediglich geltend machen, die Kostenverlegung sei aus einem anderen Grund als dem Umstand, dass sie in der Hauptsache unterlegen ist, bundesrechtswidrig (Urteile 8D_6/2019 vom 4. Februar 2020 E. 1.3; 1C_302/2014 vom 5. Januar 2015 E. 2.2). Insoweit kann grundsätzlich auf die Beschwerde eingetreten werden, obwohl der Beschwerdeführer über kein aktuelles Interesse an einem Sachentscheid mehr verfügt.
2.1. Die Vorinstanz hat erwogen, das Verwaltungsgericht prüfe die kostenmässigen Nebenfolgen eines Entscheids nach Ermessen und Billigkeit, wenn in der Hauptsache das aktuelle Rechtsschutzinteresse entfallen sei. Die Kostenfolgen seien nur dann neu festzusetzen, wenn sich die Kostenregelung gemäss angefochtenem Entscheid ohne Weiteres als unzutreffend erweise. Wenn die Vorinstanz die Kosten gestützt auf das Unterliegerprinzip verlegt habe, sei dies nur dann zu beanstanden, wenn der betreffende Entscheid im Ergebnis nicht haltbar sei. Dementsprechend nahm das Verwaltungsgericht bloss eine summarische Prüfung des angefochtenen Entscheids in der Hauptsache vor und gelangte zum Schluss, dieser sei nicht geradezu unhaltbar.
2.2. Der Beschwerdeführer setzt sich sehr eingehend mit der Sach- und Rechtslage auseinander, die der Verfügung betreffend die Gewaltschutzmassnahmen zugrunde liegen. Er begründet ausführlich, weshalb die Vorinstanz nach seiner Auffassung den rechtserheblichen Sachverhalt willkürlich festgestellt und das Zürcher Gewaltschutzgesetz willkürlich angewandt habe. Diese Aspekte sind indes ohne Belang für die einzig noch zu prüfende Frage, ob die vorinstanzliche Kostenverlegung aus andern Gründen als wegen des für den Beschwerdeführer ungünstigen Prozessausgang anders hätten verlegt werden müssen. Wie erwähnt (oben E. 1.6), kann er nicht auf dem Weg der Anfechtung der Kostenverlegung eine materielle Überprüfung eines Entscheids erzwingen, der keine Wirkungen mehr entfaltet. Darauf ist nicht weiter einzugehen.
Sodann beanstandet der Beschwerdeführer in verschiedener Hinsicht eine Verletzung seines Anspruchs auf rechtliches Gehör im haftrichterlichen Verfahren auf Prüfung der Gewaltschutzmassnahmen. Diese Rüge ist zulässig, denn sie könnte relevant sein, wenn es die Vorinstanz in Verletzung von Bundesrecht unterlassen hätte, bei ihrem Kostenspruch einer Gehörsverletzung Rechnung zu tragen. Dies trifft vorliegend aber gerade nicht zu: Vielmehr ist das Verwaltungsgericht zum Schluss gelangt, der Haftrichter habe den Gehörsanspruch des Beschwerdeführers verletzt, und es hat ihm aus diesem Grund die Gerichtsgebühren bloss hälftig auferlegt. In diesem Punkt erweist sich die Beschwerde mithin als unbegründet.
3.
Schliesslich kann dem Beschwerdeführer auch nicht gefolgt werden, wenn er beantragt, eventualiter sei Ziff. 4 des angefochtenen Entscheids ersatzlos zu streichen. Darin hatte ihn das Verwaltungsgericht dazu verpflichtet, der Beschwerdegegnerin eine Parteientschädigung von Fr. 500.-- zu entrichten. Er begründet seinen Antrag damit, die Beschwerdegegnerin - seine Ehefrau - sei am Verfahren gar nicht beteiligt gewesen und auch ihre Anwältin habe keinerlei Eingabe verfasst. Dies trifft aber nicht zu. Die Beschwerdegegnerin bzw. ihre damalige Anwältin hat mit Eingabe vom 30. März 2020 eine rund zehnseitige Beschwerdeantwort mit Beilagen eingereicht. Diese wurde dem Beschwerdeführer übrigens (gemäss Kanzleistempel des Verwaltungsgerichts vom 2. April 2020) zugestellt, verbunden mit der Möglichkeit, bis zum 8. April 2020 dazu Stellung zu nehmen. Da die Beschwerdegegnerin vor Verwaltungsgericht obsiegt hat, ist es nicht zu beanstanden, wenn ihr dieses eine Parteientschädigung zugesprochen hat (vgl. KASPAR PLÜSS in: Kommentar VRG, 3. Aufl., § 17 N. 14).
4.
Soweit auf die Beschwerde überhaupt eingetreten werden kann, stellt sie sich somit als unbegründet heraus; insoweit ist sie abzuweisen.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Die obsiegende Beschwerdegegnerin hat Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer entrichtet der Beschwerdegegnerin eine Parteientschädigung von Fr. 2'500.--.
4.
Dieses Urteil wird den Parteien, der Kantonspolizei Zürich, Fachstelle Häusliche Gewalt, und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichterin, schriftlich mitgeteilt.
Lausanne, 15. September 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Hänni