Sachverhalt:
A.
A.a. A._ (geb. 1989; Beschwerdeführerin) und B._ (geb. 1986; Beschwerdegegner) sind die verheirateten Eltern von C._ (geb. 2011) und D._ (geb. 2012). Am 14. November 2018 klagte A._ beim Bezirksgericht Zurzach auf Scheidung der Ehe und beantragte für die Dauer des Scheidungsverfahrens die vorsorgliche Regelung der elterlichen Sorge und Obhut sowie des Besuchs- und Ferienrechts des Vaters, gegebenenfalls unter Errichtung einer Besuchsrechtsbeistandschaft für die Kinder.
A.b. Am 11. Januar 2019 entschied das Bezirksgericht über die vorsorglichen Massnahmen. Dabei wies es den Antrag um Zuteilung der alleinigen elterlichen Sorge an die Kindsmutter ab, stellte die Kinder aber unter deren Obhut. Weiter erklärte das Gericht den Kindsvater für berechtigt, die Kinder im Rahmen eines begleiteten Besuchsrechts jedes zweite Wochenende im Monat zu besuchen. Dieses Besuchsrecht gelte "vorerst" für ein halbes Jahr seit der erstmaligen Ausübung. Weitergehende Absprachen der Parteien und des Beistands behielt das Bezirksgericht vor. Zuletzt errichtete es für die Kinder eine Besuchsrechtsbeistandschaft.
B.
Die hiergegen von A._ erhobene Berufung wies das Obergericht des Kantons Aargau mit Entscheid vom 6. Dezember 2019 (eröffnet am 18. Dezember 2019) ab.
C.
Mit Beschwerde in Zivilsachen vom 16. Januar 2020 gelangt A._ ans Bundesgericht. Sie beantragt, es sei der Entscheid des Obergerichts aufzuheben und dieses sei anzuweisen, vor der Festlegung eines Besuchsrechts ein kinderpsychiatrisches Gutachten und im Anschluss daran, je nach Resultat des Gutachtens, eine psychiatrisch-therapeutische Begleitung für die Eltern und die Kinder anzuordnen.
Am 17. Januar 2020 hat das Bundesgericht das ausserdem gestellte Gesuch um Erteilung der aufschiebenden Wirkung der Beschwerde abgewiesen. Im Übrigen wurden die Akten des kantonalen Verfahrens, indes keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Fristgerecht (Art. 100 Abs. 1 und Art. 46 Abs. 2 BGG) angefochten ist der Endentscheid (<ref-law>) einer letzten kantonalen Instanz, die als oberes Gericht auf Rechtsmittel hin (<ref-law>) vorsorglich für die Dauer des Scheidungsverfahrens über den persönlichen Verkehr zwischen dem Vater und den Kindern (<ref-law> i.V.m. <ref-law>; vgl. auch E. 1.2 hiernach) und damit eine nicht vermögensrechtliche Zivilsache nach <ref-law> entschieden hat. Die Beschwerde in Zivilsachen ist das zutreffende Rechtsmittel. Die Beschwerdeführerin ist ausserdem nach <ref-law> zur Beschwerde berechtigt.
1.2. Die Beschwerdeführerin beantragt die Aufhebung des gesamten Entscheids des Obergerichts. Ihren weiteren Anträgen sowie der Begründung der Beschwerde - diese ist zur Auslegung der Rechtsbegehren beizuziehen (<ref-ruling> E. 6.2; <ref-ruling> E. 1.3) - lässt sich jedoch entnehmen, dass sie nur insoweit mit diesem nicht einverstanden ist, als das Obergericht dem Kindsvater ein begleitetes Besuchsrecht eingeräumt hat. Die Beschwerde ist entsprechend entgegenzunehmen.
2.
2.1. Massnahmeentscheide, die gestützt auf <ref-law> ergehen, unterstehen <ref-law> (Urteil 5A_359/2019 vom 17. Oktober 2019 E. 1.2). Daher kann nur die Verletzung verfassungsmässiger Rechte gerügt werden (vgl. auch <ref-ruling> E. 1.2). Auch eine Berichtigung oder Ergänzung der Sachverhaltsfeststellungen kommt nur in Frage, wenn die kantonale Instanz solche Rechte verletzt hat (<ref-ruling> E. 4.1). Für die Rüge der Verletzung verfassungsmässiger Rechte gilt das strenge Rügeprinzip nach <ref-law>. Die rechtsuchende Partei muss präzise angeben, welches verfassungsmässige Recht durch den angefochtenen Entscheid verletzt wurde, und im Einzelnen darlegen, worin die Verletzung besteht. Das Bundesgericht prüft nur klar und detailliert erhobene und soweit möglich belegte Rügen. Auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 1.3; <ref-ruling> E. 2.3).
2.2. Die Beschwerdeführerin wendet gegen das von der Vorinstanz vorgesehene Besuchsrecht zusammengefasst ein, dass beide Kinder dieses vehement ablehnen und sie durch Kontakte mit dem Vater massiv belastet würden. Ausserdem stehe der Verdacht im Raum, dass der Vater vor über drei Jahren gegenüber den Kindern Gewalt angewandt habe und es zu Handlungen mit sexuellem Bezug gekommen sei. Es dürfe daher nicht ein Besuchsrecht ohne eine Begutachtung oder zumindest eine psychiatrisch-therapeutische Begleitung der Kinder und der Eltern angeordnet werden. Sodann sei ein Besuchsrecht zum jetzigen Zeitpunkt nicht zwingend, nachdem der Vater sich über drei Jahre nicht um die Kinder gekümmert habe. Anders als das Obergericht meine - dieses erwog, die Beistandsperson könne gegebenenfalls intervenieren und die Kindesschutzbehörde über allfällige Kindeswohlgefährdungen informieren, - gehe es auch nicht an, die Verantwortung für das Besuchsrecht an einen Beistand zu delegieren. Alles in allem verletze der angefochtene Entscheid das Kindeswohl nach Art. 274, 274a und 275 ZGB und sei völlig unverhältnismässig.
2.3. Damit missachtet die Beschwerdeführerin sowohl die Beschränkung der Kognition des Bundesgerichts im vorliegenden Verfahren als auch die sie treffende strenge Begründungspflicht:
Vorab macht sie keine durch das Bundesgericht zu prüfende Verletzung verfassungsmässiger Rechte geltend, soweit sie sich darauf beruft, das Obergericht habe das Kindeswohl missachtet und damit verschiedene Gesetzesbestimmungen verletzt. Bei dem Grundsatz der Verhältnismässigkeit (<ref-law>), den sie ausserdem anruft, handelt es sich sodann nicht um ein verfassungsmässiges Recht, sondern einen verfassungsmässigen Grundsatz. Er kann zwar im Zusammenhang mit der Rüge der Verletzung von Bundesrecht oder anderer Freiheitsrechte angerufen werden, nicht aber unabhängig davon (<ref-ruling> E. 4; <ref-ruling> E. 3.3; Urteil 2C_658/2015 vom 3. Juni 2016 E. 3.6.3). Sie erhebt damit keine zulässigen Rügen.
Unbesehen darum ist der Beschwerdeführerin entgegenzuhalten, dass sie sich im Wesentlichen darauf beschränkt, dem Urteil des Obergerichts die eigene Würdigung der Sach- und Rechtslage entgegenzustellen. Eine Auseinandersetzung mit dem angefochtenen Entscheid, wie sie mit Blick auf das strenge Rügeprinzip notwendig wäre, findet dagegen nicht statt. So geht die Beschwerdeführerin beispielsweise nicht auf die Bedeutung des Umstands ein, dass die Vorinstanz nur ein begleitetes und vorerst auf sechs Monate befristetes Besuchsrecht angeordnet hat (vgl. vorne Bst. A.b und B).
3.
Nach dem Ausgeführten ist auf die Beschwerde nicht einzutreten. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (<ref-law>). Parteientschädigung ist keine zu sprechen, da dem obsiegenden Beschwerdegegner mangels Einholens einer Vernehmlassung keine entschädigungspflichtigen Kosten entstanden sind (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'500.-- werden der Beschwerdeführerin auferlegt.
3.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Aargau, Zivilgericht, 5. Kammer, und der Kindes- und Erwachsenenschutzbehörde Oberaargau schriftlich mitgeteilt.
Lausanne, 7. April 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber