Sachverhalt:
A.
A.a. Mit Entscheid vom 23. Dezember 2020 regelte die Kindes- und Erwachsenenschutzbehörde Olten-Gösgen (im Folgenden: KESB) den persönlichen Verkehr zwischen B._ und seinem Sohn C._ (geb. 2014) neu. B._ wurde für berechtigt erklärt, seinem Sohn über die Beiständin Sprachnachrichten und Videobotschaften zukommen zu lassen und gegebenenfalls über die Beiständin Sprachnachrichten und Videobotschaften von seinem Sohn zu empfangen. Die Beiständin wurde beauftragt, den Austausch zu organisieren.
A.b. Mit Beschwerde vom 22. Januar 2021 gelangte B._ an das Verwaltungsgericht des Kantons Solothurn und verlangte die stufenweise Einführung eines ordentlichen Besuchsrechts an jedem zweiten Wochenende.
A.c. Mit Urteil vom 10. Mai 2021 (eröffnet am 11. Mai 2021) hiess das Verwaltungsgericht die Beschwerde gut und erlaubte dem Vater, den Sohn ab Juni 2021 an jedem zweiten Wochenende für einen Morgen zu besuchen. Die Besuche sollten bei positivem Verlauf schrittweise ausgeweitet werden. Ab Oktober 2021 erhielt der Vater ein ordentliches Besuchsrecht an jedem zweiten Wochenende (Dispositiv-Ziffer 1). Die Gerichtskosten auferlegte das Verwaltungsgericht im Umfang von je Fr. 400.-- dem Staat Solothurn und der Kindsmutter A._ (Dispositiv-Ziffer 3), die es zudem zur Bezahlung einer Parteientschädigung von je Fr. 1'482.30 verpflichtete (Dispositiv-Ziffer 4).
B.
Am 10. Juni 2021 wendet sich A._ (Beschwerdeführerin) mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde ans Bundesgericht. Sie stellt die folgenden Rechtsbegehren:
"1. Ziffer 3 des Dispositivs des Urteils des Verwaltungsgerichts des Kantons Solothurn vom 10. Mai 2021 sei aufzuheben und mit folgendem Wortlaut neu zu fassen: «Die Verfahrenskosten von CHF 800.00 werden dem Staat Solothurn auferlegt, womit die Beschwerdeführerin keine Verfahrenskosten zu tragen hat.»
2. Ziffer 4, Satz 2 des Dispositivs des Urteils des Verwaltungsgerichts des Kantons Solothurn vom 10. Mai 2021 sei aufzuheben und mit folgendem Wortlaut neu zu fassen: «Diese ist vom Staat Solothurn zu bezahlen, womit die Beschwerdeführerin keine Parteientschädigung zu leisten hat.»
3. Eventualiter sei Ziffer 4, Satz 2 des Dispositivs des Urteils des Verwaltungsgerichts des Kantons Solothurn vom 10. Mai 2021 aufzuheben und mit folgendem Wortlaut neu zu fassen: «Die Parteikosten werden wettgeschlagen.»
4. Subeventualiter seien Ziffer 3 und Ziffer 4, Satz 2 des Dispositivs des Urteils des Verwaltungsgerichts des Kantons Solothurn vom 10. Mai 2021 aufzuheben und zur Neuverteilung der Kosten und Entschädigungsfolgen des kantonalen Verfahrens an das Verwaltungsgericht des Kantons Solothurn zurückzuweisen.
5. [Der Beschwerdeführerin] sei für das Beschwerdeverfahren vor Bundesgericht die unentgeltliche Rechtspflege zu gewähren und der Unterzeichnende sei als Rechtsbeistand einzusetzen.
6. Unter Kosten und Entschädigungsfolge."
Das Bundesgericht hat die vorinstanzlichen Akten, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Die Beschwerdeführerin wehrt sich gegen die Art und Weise, wie das Verwaltungsgericht die Prozesskosten des Beschwerdeverfahrens betreffend einen Entscheid der KESB verteilt hat. Angefochten ist damit der Endentscheid (<ref-law>) eines oberen kantonalen Gerichts (<ref-law>). Bei den Prozesskosten geht es um einen Nebenpunkt. Der Rechtsweg folgt der Hauptsache (<ref-ruling> E. 1.1; <ref-ruling> E. 3). Im vorliegenden Fall betrifft diese die Regelung des persönlichen Verkehrs zwischen dem Beschwerdegegner und seinem Sohn. Dabei handelt es sich um eine Zivilsache nicht vermögensrechtlicher Natur (<ref-law>). Die Beschwerdeführerin hat am vorinstanzlichen Verfahren teilgenommen und ist durch den angefochtenen Entscheid besonders berührt (<ref-law>). Auf die rechtzeitige (<ref-law>) Beschwerde in Zivilsachen ist grundsätzlich einzutreten. Die subsidiäre Verfassungsbeschwerde ist nicht zulässig (<ref-law>).
1.2. Nicht einzutreten ist auf die Beschwerde insoweit, als die Beschwerdeführerin die Feststellung verlangt, dass sie weder für die Gerichtskosten aufkommen noch sich an der Entschädigung des Beschwerdegegners beteiligen muss. Feststellungsbegehren sind im bundesgerichtlichen Verfahren nur zulässig, sofern an der Feststellung ein schutzwürdiges Interesse besteht und dieses nicht ebenso gut mit einem Leistungs- oder Gestaltungsbegehren gewahrt werden kann (<ref-law>; <ref-ruling> E. 1.7; <ref-ruling> E. 3.1). Das Feststellungsinteresse ist von der beschwerdeführenden Partei zu begründen und nachzuweisen (<ref-law>; Urteil 5A_563/2020 vom 29. April 2021 E. 1.3). Die Beschwerdeführerin behauptet zwar, über ein Feststellungsinteresse zu verfügen, begründet letztlich aber nicht, welches Interesse sie daran hat, dass die Vorinstanz im Dispositiv ihres Urteils zusätzlich zur Festlegung der Kosten explizit festhält, dass sich die Beschwerdeführerin nicht an diesen beteiligen muss. Auf die Beschwerde ist insoweit nicht einzutreten.
2.
2.1. Die Vorinstanz hat die Hälfte der Verfahrenskosten von Fr. 800.-- der Beschwerdeführerin und die andere Hälfte dem Kanton Solothurn auferlegt. Begründet hat die Vorinstanz diese Kostenregelung unter Hinweis auf § 77 Abs. 1 des Gesetzes des Kantons Solothurn vom 15. November 1970 über den Rechtsschutz in Verwaltungssachen (Verwaltungsrechtspflegegesetz, VRG/SO; BGS 124.11) in Verbindung mit <ref-law>. Mit dem blossen Hinweis auf den Ausgang des Verfahrens begründet hat die Vorinstanz, dass die Beschwerdeführerin für die Hälfte der Entschädigung des Beschwerdegegners aufkommen muss.
2.2. Die Beschwerdeführerin verweist demgegenüber darauf, dass sie im kantonalen Beschwerdeverfahren bewusst keine Anträge gestellt habe, um kein Kostenrisiko einzugehen. Die Vorinstanz habe die Beschwerdeführerin deshalb zu Unrecht als unterliegende Partei im Sinn von <ref-law> behandelt. Nur wer sich auf ein Rechtsmittelverfahren einlasse und entsprechende Rechtsbegehren stelle, habe mit seinem Unterliegen zu rechnen und die damit verbundenen finanziellen Folgen zu tragen. Ausserdem habe bereits die KESB ihr die halben Prozesskosten auferlegt, obwohl sie im dortigen Verfahren vollständig obsiegt habe. Müsse die Beschwerdeführerin im vorinstanzlichen Verfahren nunmehr auch die halben Kosten übernehmen, obgleich sie keinen Antrag gestellt habe, während dem Beschwerdeführer keine Kosten auferlegt würden, sei dies stossend und die Parteien würden ungleich behandelt. Daher müssten zumindest die Parteientschädigungen wettgeschlagen werden.
Weiter rügt die Beschwerdeführerin die Verletzung der Begründungspflicht als Teilgehalt des rechtlichen Gehörs gemäss <ref-law> und § 64 Abs. 1 VRG/SO. Das angefochtene Urteil erläutere nicht, weshalb sie für die Hälfte der Parteientschädigung des Beschwerdegegners aufkommen müsse. Das Verwaltungsgericht lege nicht dar, weshalb von der ordentlichen Kostenliquidation gemäss <ref-law> abgewichen werde. Auch wenn man diesbezüglich von einem Ermessensentscheid ausgehe, bleibe <ref-law> auch in familienrechtlichen Verfahren die Grundnorm. Gleiches würde gelten, wenn sich die Vorinstanz auf Art. 107 Abs. 1 Bst. f ZPO berufen hätte. Bei <ref-law> handle es sich um eine Kann-Bestimmung, welche die rechtsanwendende Behörde zur Kostenverteilung nach deren Ermessen ermächtige. Die Anforderungen an die Begründungsdichte bei Ermessensentscheiden sei erhöht. Die Beschwerdeführerin sei auch nicht zu der von der Vorinstanz in Erwägung gezogenen Kostenverteilung angehört worden. Dadurch sei ihr Gehörsanspruch in einer nicht wiedergutzumachenden Weise verletzt worden. Die fehlende Begründung mache das angefochtene Urteil nicht nachvollziehbar.
2.3.
2.3.1. Nicht einzutreten ist auf den Vorwurf der Beschwerdeführerin, die Vorinstanz habe mit ihrem Urteil Art. 106 und 107 ZPO verletzt:
Das ZGB enthält nur wenige Bestimmungen zum Erwachsenenschutzverfahren. Für dessen Regelung sind die Kantone zuständig, soweit das ZGB eine Frage nicht abschliessend bundesrechtlich beantwortet (vgl. <ref-law>). Die Verlegung der Prozesskosten im Beschwerdeverfahren regelt das ZGB nicht. Ebenso wenig das einschlägige kantonale Recht, welches aber ergänzend auf die Bestimmungen der ZPO verweist (§ 77 VRG/SO). Diese gelangen folglich als subsidiäres kantonales Recht zur Anwendung. Das Bundesgericht überprüft ihre korrekte Handhabung wie das sonstige kantonale Recht daher nicht frei, sondern nur auf Willkür (<ref-law>) oder die Verletzung eines anderen verfassungsmässigen Rechts und auf entsprechende Rüge hin (Urteile 5A_327/2016 vom 1. Mai 2017 E. 3.1, nicht publiziert in: <ref-ruling>, aber in: FamPra.ch 2017 S. 894; 5A_724/2015 vom 2. Juni 2016 E. 2.2, nicht publiziert in: <ref-ruling>). Eine willkürliche oder sonst gegen die Verfassung verstossende Rechtsanwendung macht die Beschwerdeführerin nur vereinzelt geltend (vgl. sogleich). Weitergehend begnügt sie sich mit dem Vorwurf, der nicht korrekten Anwendung der Art. 106 und 107 ZPO, was vorliegend nicht zu prüfen ist.
2.3.2. Für die Rüge der verfassungswidrigen Anwendung der ZPO als subsidiäres kantonales Recht gelangt wie bei jeder Verfassungsrüge das strenge Rügeprinzip nach <ref-law> zur Anwendung. Das Bundesgericht prüft daher nur klar und detailliert erhobene und, soweit möglich, begründete Rügen, während es auf ungenügend substanziierte Rügen und rein appellatorische Kritik nicht eintritt (<ref-ruling> E. 2.3; Urteil 5A_770/2018 vom 6. März 2019 E. 2.1).
Diesen Anforderungen genügt die Beschwerde nicht, soweit die Beschwerdeführerin in pauschaler Art und Weise geltend macht, das angefochtene Urteil führe zu einer Ungleichbehandlung zwischen den Parteien, ohne sich zum konkreten Fall oder zum angeblich verletzten verfassungsmässigen Recht zu äussern. Hierauf ist nicht einzutreten.
2.3.3. Zu prüfen bleibt der Vorwurf, die Vorinstanz habe mit ihrem Urteil das rechtliche Gehör der Beschwerdeführerin verletzt. Das Vorbringen ist vor dem Hintergrund der Bundesverfassung zu prüfen (<ref-law>), nachdem die Beschwerdeführerin nicht dartut, dass das kantonale Recht ihr einen darüber hinausgehenden Anspruch verschaffen würde (vgl. Urteil 2D_31/2016 vom 2. Februar 2017 E. 1.2). Eine Gehörsverletzung kann nicht festgestellt werden:
Vorab bestreitet die Beschwerdeführerin nicht, dass die Vorinstanz ihr die Gelegenheit gab, sich zur Beschwerde gegen den Entscheid der KESB zu äussern. Sie konnte in diesem Rahmen auch zur Kostenverlegung Stellung nehmen, was mit Blick auf den Verfassungsanspruch ausreicht (<ref-ruling> E. 2; Urteil 5D_201/2012 vom 22. Februar 2013 E. 2.2). Soweit im Vorbringen, zur Kostenverlegung nicht angehört worden zu sein, überhaupt eine hinreichende Verfassungsrüge liegt (vgl. E. 2.3.2 hiervor), ist diese folglich unbegründet.
Auch eine Verletzung der Begründungspflicht ist nicht auszumachen: Zwar trifft es zu, dass das Verwaltungsgericht seinen Kostenentscheid äussert knapp begründet hat. Um den Vorgaben von <ref-law> zu genügen, musste das Gericht es der Beschwerdeführerin aber einzig ermöglichen, sich über die Tragweite des angefochtenen Entscheids Rechenschaft zu geben, um ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen zu können (vgl. <ref-ruling> E. 6.1 mit Hinweisen). Diesen Voraussetzungen genügt das vorinstanzliche Urteil, zumal die Beschwerdeführerin in die Lage versetzt wurde, dieses unter Hinweis auf die einschlägigen Normen beim Bundesgericht anzufechten (vgl. vorne E. 2.2). Es ist nicht der Vorinstanz anzulasten und beschlägt nicht den Gehörsanspruch, wenn die Beschwerdeführerin nicht genügende Rügen erhebt (vgl. E. 2.3.1 und 2.3.2 hiervor).
3.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit auf diese einzutreten ist.
Bei diesem Ausgang des Verfahrens wird die unterliegende Beschwerdeführerin kostenpflichtig (Art. 65 Abs. 1 und Art. 66 Abs. 1 BGG). Parteientschädigung ist keine geschuldet, da dem obsiegenden Beschwerdegegner mangels Einholens einer Vernehmlassung keine entschädigungspflichtigen Kosten angefallen sind. Das Gesuch der Beschwerdeführerin um unentgeltliche Rechtspflege und Verbeiständung ist abzuweisen, weil die Beschwerde nach dem Ausgeführten als von Anfang an aussichtslos angesehen werden muss (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2.
Das Gesuch der Beschwerdeführerin um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 500.-- werden der Beschwerdeführerin auferlegt.
4.
Dieses Urteil wird den Parteien, der Kindes- und Erwachsenenschutzbehörde Olten-Gösgen und dem Verwaltungsgericht des Kantons Solothurn mitgeteilt.
Lausanne, 6. April 2022
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber