Sachverhalt:
A.
A.a. A._ und B._ sind die unverheirateten Eltern von C._ (geb. 2015). Die Eltern trennten sich kurz nach der Geburt des Sohnes. C._ steht unter der alleinigen elterlichen Sorge der Mutter.
A.b. Am 8. März 2018 beantragte der Vater bei der KESB Bezirk Horgen (im Folgenden: KESB), die Mutter sei unter Strafandrohung nach <ref-law> zu verpflichten, ihn über besondere Ereignisse im Leben des Sohnes zu benachrichtigen und vor Entscheidungen, die für dessen Entwicklung wichtig sind, anzuhören. Im Eventualstandpunkt stellte er den Antrag, die Mutter sei zu verpflichten, die entsprechenden Auskünfte und Informationen der Beiständin zu geben, damit diese sie dem Vater weiterleiten könne. Weiter stellte er ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung. Die KESB wies das Gesuch um unentgeltliche Verbeiständung mit Beschluss vom 21. März 2018 ab, gewährte dem Vater jedoch die unentgeltliche Rechtspflege für Gebühren und Kosten.
A.c. Gegen diesen Beschluss erhob der Vater am 13. August 2018 Beschwerde beim Bezirksrat Horgen. Dieser wies am 5. Oktober 2020 die Beschwerde vollumfänglich ab (Dispositiv-Ziff. I), auferlegte dem Vater die Entscheidgebühr von Fr. 1'000.-- (Dispositiv-Ziff. II) und verpflichtete ihn, der Mutter eine Parteientschädigung in der Höhe von Fr. 900.-- (zuzüglich MWST von 7.7 %) zu bezahlen (Dispositiv-Ziff. III).
A.d. Mit Eingabe vom 10. November 2020 wandte sich der Vater an das Obergericht des Kantons Zürich. Neben der Anfechtung in der Sache beantragte er unter anderem, Dispositiv-Ziff. III des bezirksrätlichen Urteils (s. Bst. A.c) aufzuheben und die Beschwerdegegnerin zu verpflichten, ihm eine Parteientschädigung von Fr. 900.-- (zzgl. MWST von 7.7 %) zu bezahlen (Beschwerdeantrag Ziff. 7). Das Obergericht hiess die Beschwerde mit Urteil vom 25. März 2021 teilweise gut und verpflichtete die Mutter, der Beiständin Informationen und Auskünfte zum Wohlergehen von C._ und zu wichtigen Ereignissen in seinem Leben in der Form von monatlichen Statusberichten zukommen zu lassen, verbunden mit der Verpflichtung der Beiständin, diese Berichte an A._ weiterzuleiten (Dispositiv-Ziff. 1 und 2). Weiter hob das Obergericht Dispositiv-Ziff. II des Urteils des Bezirksrates auf und verfügte, die Entscheidgebühr für das Verfahren vor dem Bezirksrat von Fr. 1'000.-- den Eltern je zur Hälfte aufzuerlegen, zufolge Gewährung der unentgeltlichen Rechtspflege aber vorerst auf die Gerichtskasse zu nehmen (Dispositiv-Ziff. 3). Im Übrigen wies das Obergericht die Beschwerde ab, soweit es darauf eintrat (Dispositiv-Ziff. 5).
A.e. Gemäss den Ausführungen in der Beschwerde an das Bundesgericht (s. unten Bst. B.a) wandte sich A._s Rechtsvertreterin nach Erhalt des Urteils telefonisch an das Obergericht und wies es darauf hin, dass es die Zusprechung der Parteientschädigung an B._ versehentlich nicht aufgehoben habe. Laut A._ erklärte die zuständige Oberrichterin, die fragliche bezirksrätliche Dispositiv-Ziff. III (Bst. A.c) sei deshalb nicht aufgehoben worden, weil er, A._, dies in seiner Beschwerde an das Obergericht gar nicht beantragt habe. Diese Darstellung blieb vor Bundesgericht unwidersprochen.
B.
B.a. Mit Beschwerde vom 11. Mai 2021 wendet sich A._ (Beschwerdeführer) an das Bundesgericht. Er verlangt, Dispositiv-Ziff. 5 des Urteils des Obergerichts (Bst. A.d) aufzuheben und von der Zusprechung einer Parteientschädigung an die Beschwerdegegnerin für das bezirksrätliche Verfahren in der Höhe von Fr. 900.-- zuzüglich MWST abzusehen. Eventualiter verlangt er die Rückweisung der Sache an die Vorinstanz zwecks Aufhebung der Parteientschädigung.
Für das Verfahren vor dem Bundesgericht stellt der Beschwerdeführer ein Gesuch um unentgeltliche Rechtspflege.
B.b. Das Bundesgericht hat Vernehmlassungen eingeholt. Mit Eingabe vom 9. November 2021 verzichtet das Obergericht auf eine solche. Die Beschwerdegegnerin beantragt mit Schreiben vom 26. November 2021, die Beschwerde abzuweisen. Auch sie stellt ein Gesuch um unentgeltliche Rechtspflege für das Verfahren vor dem Bundesgericht.

Erwägungen:
1.
Angefochten ist ein Endentscheid (<ref-law>) einer letzten kantonalen Instanz, die als oberes Gericht (<ref-law>) auf Rechtsmittel hin über die Prozesskosten im Verfahren vor dem Bezirksrat entschieden hat. Im Streit um Nebenpunkte, namentlich um die Kostenfolgen, folgt der Rechtsweg ans Bundesgericht grundsätzlich jenem der Hauptsache (<ref-ruling> E. 1.1; <ref-ruling> E. 3). Dort dreht sich der Streit um das Informations- und Auskunftsrecht des nicht sorgeberechtigten Elternteils nach <ref-law>, mithin um eine nicht vermögensrechtliche Zivilsache (<ref-law>). Die Beschwerde in Zivilsachen ist damit das zutreffende Rechtsmittel. Der Beschwerdeführer ist nach <ref-law> zur Beschwerde berechtigt, die er auch fristgerecht erhoben hat (<ref-law>). Auf die Beschwerde ist grundsätzlich einzutreten.
2.
Mit der Beschwerde in Zivilsachen kann die Verletzung von Bundesrecht, einschliesslich des Verfassungsrechts, sowie von Völkerrecht gerügt werden (Art. 95 Bst. a und b BGG). Abgesehen von den hier nicht einschlägigen Ausnahmen von Art. 95 Bst. c-e BGG ist die fehlerhafte Anwendung des kantonalen Rechts kein Beschwerdegrund vor Bundesgericht. Vielmehr kann auch hinsichtlich des kantonalen Rechts nur gerügt werden, dessen Anwendung führe zu einer Rechtsverletzung nach Art. 95 Bst. a oder b BGG, namentlich zu einem Verstoss gegen das Willkürverbot oder einer Verletzung anderer verfassungsmässiger Rechte (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 1.2). Das Bundesgericht prüft die Verletzung von verfassungsmässigen Rechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Notwendig ist, dass in der Beschwerde klar und detailliert anhand der Erwägungen des angefochtenen Entscheids dargelegt wird, inwieweit die angerufenen Rechte verletzt wurden (<ref-ruling> E. 2.4; <ref-ruling> E. 1.3).
3.
Anlass zur Beschwerde gibt der Entscheid des Obergerichts, Dispositiv-Ziff. III des Urteils des Bezirksrats nicht aufzuheben.
3.1. Der Beschwerdeführer verweist auf eine langjährige, gefestigte Praxis des Obergerichts in familienrechtlichen Verfahren, die nicht vermögensrechtliche Kinderbelange zum Gegenstand haben. Danach würden den Eltern die Gerichtskosten nicht nach Obsiegen/Unterliegen, sondern gestützt auf Art. 107 Abs. 1 Bst. c ZPO hälftig auferlegt. Zudem würden keine Parteientschädigungen zugesprochen. Diese Praxis gelte, wenn die Parteien unter dem Gesichtspunkt der Interessen des Kindes gute Gründe zur Antragsstellung gehabt hätten. Auch im vorliegenden Fall sei das Obergericht dieser Praxis gefolgt. Entsprechend habe es die Gerichtskosten für das Verfahren vor dem Bezirksrat den Parteien hälftig auferlegt und dem Beschwerdeführer keine Parteientschädigung zugesprochen. Die Vorinstanz habe es aber versäumt, den Entscheid des Bezirksrats insofern zu reformieren, als dieser ihn in Dispositiv-Ziff. III verpflichte, der Beschwerdegegnerin eine Parteientschädigung auszurichten. Eine Begründung, weshalb das Obergericht von seiner Praxis abgewichen sei, lasse sich dem angefochtenen Entscheid nicht entnehmen. Wenn er im Beschwerdeverfahren nun aber im Kindesinteresse gehandelt habe, was das Obergericht implizit anerkenne, könne er im bezirksrätlichen Verfahren nicht zur Leistung einer Parteientschädigung verpflichtet werden. Der angefochtene Entscheid sei widersprüchlich und damit willkürlich.
Weiter argumentiert der Beschwerdeführer, dass das Obergericht die bezirksrätliche Dispositiv-Ziff. III betreffend Ausrichtung einer Parteientschädigung auch unabhängig von der erwähnten Praxis deshalb hätte aufheben müssen, weil er mit Bezug auf das bezirksrätliche Verfahren nicht unterliegende Partei sei, nachdem sein Eventualantrag im Hauptstreitpunkt gutgeheissen wurde. Indem die Vorinstanz die fragliche Dispositiv-Ziff. III nicht aufhebe, verletze sie Art. 106 Abs. 1 und 2 ZPO. Ihren anders lautenden Entscheid begründe die Vorinstanz nachträglich mit der aktenwidrigen Behauptung der Instruktionsrichterin, wonach er, der Beschwerdeführer, keinen entsprechenden Antrag gestellt habe.
3.2. Die Beschwerdegegnerin hält dafür, dass sich die Vorinstanz in ihren Erwägungen nicht auf eine Praxis bezüglich der Verteilung der Prozesskosten stütze, die sie falsch oder nicht konsequent angewendet hätte. Damit könne auch offen bleiben, ob eine solche Praxis überhaupt existiere. Eine Pflicht der Gerichte zur Befolgung ihrer eigenen Praxis bestehe auch im Hinblick auf <ref-law> nicht. Der Beschwerdeführer lege nicht dar, dass der Entscheid der Vorinstanz willkürlich sei. Wie der Beschwerdeführer selbst einräume, werde im angefochtenen Entscheid nicht explizit auf die der Praxis zugrunde liegenden Entscheide verwiesen. Damit werde aber auch der Vorwurf der Widersprüchlichkeit hinfällig. Hinzu komme, dass auch eine solche Widersprüchlichkeit nicht einfach zur Aufhebung des Entscheids führen würde, sondern nur dann, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar sei. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genüge nicht.
Nach der Meinung der Beschwerdegegnerin anerkennt der Beschwerdeführer ausserdem implizit, dass das Obergericht die Kosten nach Obsiegen und Unterliegen verteilen durfte. Angesichts des Ausgangs des Verfahrens und der Tatsache, dass im Verfahren ihre Kooperation mit der bestellten Beiständin nie umstritten war und sie dieser bereits vor dem Entscheid regelmässig Informationen und Auskünfte zukommen liess, sei die Kostenverteilung nachvollziehbar und korrekt.
3.3. Gemäss <ref-law> gelten hinsichtlich der behördlichen Zuständigkeiten für das Informations- und Auskunftsrecht sinngemäss die Vorschriften über den persönlichen Verkehr. Soweit kein Gericht mit einem eherechtlichen Verfahren befasst ist (<ref-law>), sind nach Massgabe von <ref-law> demnach die Kindesschutzbehörden zuständig. Das ZGB enthält nur wenige Bestimmungen zum Kindes- und Erwachsenenschutzverfahren. Für dessen Regelung sind die Kantone zuständig, soweit das ZGB eine Frage nicht abschliessend beantwortet (vgl. <ref-law>). Die Verlegung der Prozesskosten im kantonalen Beschwerdeverfahren ist weder im ZGB noch im einschlägigen kantonalen Recht geregelt; dieses verweist aber ergänzend auf die Bestimmungen der ZPO (§ 40 Abs. 3 des Einführungsgesetzes zum Kindes- und Erwachsenenschutzrecht [EG KESR] des Kantons Zürich vom 25. Juni 2012 [LS 232.3]). Die ZPO gelangt folglich als subsidiäres kantonales Recht zur Anwendung. Das Bundesgericht überprüft ihre korrekte Handhabung daher nicht frei, sondern nur auf Willkür (<ref-law>) oder die Verletzung eines anderen verfassungsmässigen Rechts und auf entsprechende Rüge hin (<ref-law>; Urteil 5A_724/2015 vom 2. Juni 2016 E. 2.2, nicht publ. in <ref-ruling>; s. oben E.2). Eine willkürliche Rechtsanwendung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch dessen Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar als zutreffender erscheinen mag, genügt nicht (<ref-ruling> E. 2.2 mit Hinweisen).
3.4. Wie in der Beschwerde zutreffend vorgebracht wird und sich aus den für das Bundesgericht verbindlichen (<ref-law>; <ref-ruling> E. 1.3.1) vorinstanzlichen Feststellungen über den Hergang des kantonalen Verfahrens ohne Weiteres ergibt, beantragte der Beschwerdeführer entgegen der - vor Bundesgericht unwidersprochen gebliebenen - telefonischen Erklärung der Instruktionsrichterin in seiner Beschwerde an die Vorinstanz in der Tat, Dispositiv-Ziff. III des bezirksrätlichen Urteils aufzuheben (s. Sachverhalt Bst. A.d und A.e). Wohl verband er in seinem Beschwerdebegehren Ziff. 7 dieses Aufhebungsbegehren mit dem Antrag, ihm selbst zu Lasten der Beschwerdegegnerin eine Parteientschädigung zuzusprechen. Allein aus dieser Wortfügung durfte das Obergericht jedoch nicht den Schluss ziehen, dass der Beschwerdeführer, sollte er mit seinem Begehren um Zusprechung einer Parteientschädigung scheitern, sich auch mit der Verpflichtung zur Bezahlung einer Entschädigung abfinden, den bezirksrätlichen Entscheid im Entschädigungspunkt also nicht wenigstens im Sinne eines Eventualbegehrens einfach annulliert haben wollte. In der Folge erweist sich die Auffassung der Vorinstanz, dass der Beschwerdeführer keinen solchen Antrag gestellt habe, als aktenwidrig und damit als willkürlich. Entschied das Obergericht also in der irrigen Meinung, es fehle bezüglich der umstrittenen Dispositiv-Ziff. III des bezirksrätlichen Urteils schon an einem entsprechenden Aufhebungsbegehren, so bleibt nur die Möglichkeit, die Sache an die Vorinstanz zurückzuweisen, damit diese über das Begehren des Beschwerdeführers um Aufhebung von Dispositiv-Ziff. III des bezirksrätlichen Urteils befindet. Ob der angefochtene Entscheid hinsichtlich des fraglichen Streitpunkts auf willkürliche Weise im Widerspruch zu den darin enthaltenen Erwägungen bzw. zu einer überkommenen Praxis des Obergerichts steht, kann bei diesem Ausgang des Verfahrens offenbleiben.
4.
Nach dem Gesagten ist die Beschwerde gutzuheissen. Die Gerichtskosten sind der Beschwerdegegnerin aufzuerlegen (<ref-law>); sie hat den Beschwerdeführer zu entschädigen (<ref-law>). Beiden Parteien ist die unentgeltliche Rechtspflege zu gewähren (<ref-law>). Die Parteien haben der Gerichtskasse Ersatz zu leisten, wenn sie später dazu in der Lage sind (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, das Urteil des Obergerichts des Kantons Zürich, II. Zivilkammer, vom 25. März 2021 aufgehoben und die Sache zu neuer Entscheidung im Sinn der Erwägungen an die Vorinstanz zurückgewiesen.
2.
2.1. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen, soweit es nicht gegenstandslos geworden ist, und es wird dem Beschwerdeführer Rechtsanwältin Nicole Fässler als Rechtsbeiständin beigegeben.
2.2. Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen und es wird der Beschwerdegegnerin Rechtsanwalt Reto Wildeisen als Rechtsbeistand beigegeben.
3.
Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdegegnerin auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'000.-- zu entschädigen. Die Entschädigung wird indes vorläufig auf die Gerichtskasse genommen und Rechtsanwältin Nicole Fässler aus der Bundesgerichtskasse mit Fr. 1'000.-- entschädigt.
5.
Rechtsanwalt Reto Wildeisen wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 1'000.-- ausgerichtet.
6.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, mitgeteilt.
Lausanne, 21. Februar 2022
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Monn