Sachverhalt:
A.
A.A._ und B.A._ sind die getrenntlebenden Eltern der in deren Ehe geborenen Kinder C.A._ (geb. 2009) und D.A._ (geb. 2012). Mit Eheschutzentscheid vom 1. September 2014 wurden die Kinder unter die Obhut der Mutter B.A._ gestellt. Für die Regelung des Besuchsrechts wurde eine Erziehungsbeistandschaft errichtet und das Besuchsrecht des Vaters A.A._ geregelt.
Am 11. Januar 2017 ordnete das Familiengericht Aarau als Kindesschutzbehörde in zwei separaten Entscheiden für beide Kinder für die Dauer von sechs Monaten ein begleitetes Besuchsrecht an. Diese Anordnung wurde mit zwei weiteren Entscheiden des Familiengerichts am 6. Juli 2018 bis auf Weiteres verlängert.
B.
Nachdem das Bezirksgericht Aarau am 9. Mai 2019 die Ehe der Parteien geschieden hatte, regelte das Familiengericht Aarau am 25. Juni 2019 aufgrund weiterer Eingaben der Eltern für beide Kinder das Besuchsrecht neu. Es sah im Wesentlichen ein individuell begleitetes Besuchsrecht von A.A._ an zwei Samstagen pro Monat während 3 1⁄2 Stunden vor, mit dessen Durchführung die soziale Organisation E._ beauftragt wurde. Das Gericht ordnete die Weiterführung der bereits bestehenden Beistandschaft gemäss <ref-law> an und regelte die Aufgaben der Beiständin. Diese wurde auch aufgefordert, dem Familiengericht Aarau bis zum 31. Dezember 2019 einen Verlaufsbericht über das individuell begleitete Besuchsrecht mit Empfehlungen zu erstatten.
Eine von A.A._ dagegen erhobene Beschwerde wies das Obergericht des Kantons Aargau mit Entscheid vom 10. Dezember 2019 ab.
C.
Gegen diesen Entscheid gelangt A.A._ mit Beschwerde in Zivilsachen vom 28. Januar 2020 an das Bundesgericht. Der Beschwerdeführer verlangt im Wesentlichen, es sei ihm "jeden Samstag, von 09.00 Uhr bis Sonntag 19.00 Uhr, während sechs Monaten; sofern erfolgreich, danach jedes zweite Wochenende im Monat, von Samstag 09.00 Uhr, bis Sonntag, 19.00 Uhr" ein Besuchsrecht zu gewähren. Er verlangt, dass diese Besuche nicht mehr begleitet werden, sondern sich die Begleitung nur noch auf die jeweilige Übergabe der Kinder zu beschränken habe. Überdies verlangt er eine entsprechende Anpassung der Aufgaben der Beiständin.
B.A._ (Beschwerdegegnerin) hat sich mit Eingabe vom 11. Juni 2020 zur Beschwerde vernehmen lassen und beantragt die vollständige Abweisung der Beschwerde, soweit darauf einzutreten sei. Mit Schreiben vom 15. Juni 2020 hat sich auch die Beiständin der Kinder vernehmen lassen. Auch sie beantragt sinngemäss die Abweisung der Beschwerde.

Erwägungen:
1.
1.1. Angefochten ist ein Entscheid eines oberen kantonalen Gerichts als Rechtsmittelinstanz (<ref-law>), der das Verfahren abschliesst (<ref-law>). Gegenstand des Verfahrens ist eine Kindesschutzmassnahme und damit zwar ein öffentlich-rechtlicher Entscheid, der aber in unmittelbarem Zusammenhang mit Zivilrecht steht und gemäss Art. 72 Abs. 2 Bst. b Ziff. 6 BGG der Beschwerde in Zivilsachen unterliegt (<ref-ruling> E. 2.1). Der Beschwerdeführer war Partei im kantonalen Verfahren; er ist in der Sache unterlegen und hat damit ein schützenswertes Interesse an der Aufhebung des angefochtenen Entscheids (Art. 76 Abs. 1 Bst. a und b BGG). Da die streitigen Kindesschutzmassnahmen nicht als vorsorgliche Massnahmen gelten (vgl. Urteile 5A_742/2013 vom 24. Dezember 2013 E. 1.4; 5A_932/2012 vom 5. März 2013 E. 2), sind die Gerichtsferien zu berücksichtigen und ist die Beschwerde rechtzeitig erfolgt (Art. 100 Abs. 1 i.V.m. <ref-law>). Auf sie ist grundsätzlich einzutreten.
1.2. Zulässig sind rechtliche Vorbringen im Sinn von Art. 95 f. BGG. Insbesondere kann die Verletzung von Bundesrecht vorgebracht werden (Art. 95 Bst. a BGG). Demgegenüber ist die obergerichtliche Sachverhaltsfeststellung für das Bundesgericht grundsätzlich verbindlich (<ref-law>). Wird eine Sachverhaltsfeststellung beanstandet, muss in der Beschwerdeschrift mit klar und detailliert erhobenen und, soweit möglich, belegten Rügen (<ref-ruling> E. 2.2) dargetan werden, inwiefern diese Feststellung offensichtlich unrichtig und damit willkürlich ist und inwiefern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 i.V.m. <ref-law>; <ref-ruling> E. 1.5; <ref-ruling> E. 4.2).
Die dargelegte Bindung an den von der Vorinstanz im angefochtenen Entscheid festgestellten Sachverhalt gilt selbstverständlich auch bezüglich der Vorbringen in den Vernehmlassungen. Deshalb sind auch vorliegend die Vorbringen in den Vernehmlassungen unbeachtlich, soweit sie einen Sachverhalt schildern, der von den Feststellungen der Vorinstanz abweicht, bzw. keine Grundlage im angefochtenen Urteil hat, und ihre Argumentation auf diesen stützen.
2.
2.1. Der Beschwerdeführer macht in erster Linie geltend, die vom Obergericht geschützte Anordnung eines begleitenden Besuchsrechts verletze den Grundsatz der Verhältnismässigkeit (Art. 5 Abs. 2, Art. 36 Abs. 3 BV) und das Recht des Beschwerdeführers auf Familienleben (<ref-law>). Die Einschränkung des Besuchsrechts, namentlich die Auflage der Begleitung, stelle einen schweren Eingriff ins Familienleben dar und sei im vorliegenden Zusammenhang unverhältnismässig.
Dazu ist zu bemerken, dass das Recht auf persönlichen Verkehr in den <ref-law> eine Regelung auf Gesetzesstufe gefunden hat, die auch die Möglichkeit vorsieht, das Recht einzuschränken und die dafür notwendigen Voraussetzungen umschreibt. Die genannten Verfassungsrechte haben insoweit auf Gesetzesstufe eine Konkretisierung erfahren. Die Rüge der Verfassungsverletzung hat damit neben der Rüge, die entsprechenden Bestimmungen des ZGB seien verletzt, keine selbständige Bedeutung mehr und es ist auf die entsprechenden Vorbringen nicht näher selbständig einzugehen. Dass die Bestimmungen des ZGB im Lichte der Verfassung auszulegen sind, versteht sich von selbst.
Der Beschwerdeführer macht zudem eine Verletzung des Willkürverbotes (<ref-law>) geltend, weil die Vorinstanz damit argumentiere, die Regelung stelle einen ersten Schritt zum Aufbau eines ausgeprägteren Besuchsrechts dar, obgleich die Einschränkung nun schon mehr als drei Jahre andaure. Inwiefern darin allerdings eine Willkür bestehen soll, ist nicht zu sehen. Dem vom Obergericht geschützten Entscheid ist klar zu entnehmen, dass die Beiständin dem Familiengericht Aarau als KESB bis zum 31. Dezember 2019 einen Verlaufsbericht abzuliefern hat, damit dieses die Sache neu beurteilen kann. Wie viel Zeit eine Normalisierung des Besuchsrechts benötigt, lässt sich nicht allgemein bestimmen. Insofern ist es nicht nur nicht willkürlich, sondern durchaus kohärent, wenn das Obergericht die Regelung als Übergangslösung ansieht, obgleich sie bereits über drei Jahre andauert. Auf die Willkürrüge ist folglich nicht weiter einzutreten.
2.2. Der Beschwerdeführer macht geltend, mit dem Entscheid, ihm bloss ein zeitlich sehr eingeschränktes und überdies begleitetes Besuchsrecht einzuräumen, habe die Vorinstanz bzw. das Familiengericht Aarau <ref-law> verletzt. Die Voraussetzung für die so weitgehenden Einschränkungen des persönlichen Verkehrs, nämlich die Gefährdung des Kindeswohls, sei in keiner Weise nachgewiesen. Damit macht er eine Verletzung von Bundesrecht geltend und darauf ist einzutreten.
3.
3.1. Das Obergericht führt aus, die Krankheit des Beschwerdeführers, eine Störung aus dem schizophrenen Formenkreis, lasse ein übliches Besuchsrecht von vornherein nicht ohne Weiteres zu. Sein Verhalten sei infolge dieser Erkrankung oft merkwürdig und er zeige keine Krankheitseinsicht. Er tue sich auch schwer damit, sich an vorgegebene Regeln zu halten (Urteil, S. 7, E. 3, erster Absatz). Er habe den Sohn gegenüber der Tochter bevorzugt und dieser habe zu Beginn der Krankheit (Ende 2015) mit Angst und Unruhe darauf reagiert, wenn der Beschwerdeführer sich gegenüber der Kindsmutter aggressiv gezeigt und ihm gegenüber "wenig kindgerecht" verhalten habe. Es sei zu "Versprechungen oder Erpressungen" gekommen, indem der Beschwerdeführer dem Sohn Geschenke gezeigt, aber gleich wieder weggenommen und ihm mitgeteilt habe, er bekomme sie erst, wenn er zu ihm nach Hause komme (Urteil, S. 7, E. 3, zweiter Absatz). Als besonders gravierend erachtet die Vorinstanz, dass es zu Tätlichkeiten des Beschwerdeführers gegenüber der Mutter der Kinder gekommen ist. Gemäss den Strafbefehlen der Staatsanwaltschaft Lenzburg-Aarau, auf die das Obergericht verweist, sind zwei Vorfälle aktenkundig: Einmal kam es zu Tätlichkeiten gegenüber der Kindesmutter in der Wohnung des Beschwerdeführers, als die Parteien bereits getrennt lebten, und einmal auf der Strasse (Urteil, S. 8, E. 3, dritter Absatz). Soweit die Beschwerdegegnerin und die Beiständin weitere Vorfälle erwähnen, kann das Bundesgericht sie damit nicht hören, weil es bezüglich des Sachverhalts an die Feststellungen im angefochtenen Urteil gebunden ist (<ref-law>).
Daraus schloss das Obergericht, dass zumindest für den Sohn C.A._, der als älteres der beiden Kinder die Situation bewusst wahrnehme, unbegleitete Besuche eine unmittelbare Gefährdung seiner psychischen Gesundheit bedeuten. Bezüglich der (jüngeren) Tochter seien zwar keine direkten Reaktionen dokumentiert, aber mit zunehmendem Alter seien die gleichen Reaktionen zu erwarten und ohnehin kämen die Besuche nur für beide Kinder gemeinsam in Frage (Urteil, S. 8, E. 3, letzter Absatz). Das Obergericht hält aber auch fest, dass mit dem bei ihm angefochtenen Entscheid die Massnahme angepasst und damit nicht dauerhaft angeordnet worden sei. Ziel sei immer noch die Ausübung eines unbegleiteten Besuchsrechts (Urteil, S. 7, E. 3, erster Absatz).
3.2. Grundsätzlich haben Eltern und Kind Anspruch auf persönliche, direkte und private Kontakte. Wird das Wohl des Kindes durch den persönlichen Verkehr gefährdet, kann ihnen das Recht auf persönlichen Verkehr verweigert oder entzogen werden (<ref-law>). Können die negativen Auswirkungen durch eine besondere Ausgestaltung des Besuchsrechts begrenzt werden, so verbieten das Persönlichkeitsrecht des nicht obhutsberechtigten Elternteils, der Grundsatz der Verhältnismässigkeit (Art. 389 Abs. 2 i.V.m. <ref-law>), aber auch der Sinn und Zweck des persönlichen Verkehrs dessen gänzliche Unterbindung (Urteil 5C.133/2003 vom 10. Juli 2003 E. 2.2 mit Hinweisen). Eine Möglichkeit, das Besuchsrecht besonders auszugestalten, besteht in der Anordnung, die Besuche in Anwesenheit einer Drittperson durchzuführen. Entsprechend verbieten der Grundsatz der Verhältnismässigkeit wie auch der Sinn und Zweck des persönlichen Verkehrs dessen gänzliche Unterbindung, wenn die befürchteten nachteiligen Auswirkungen der Kontakte für das Kind durch die Anwesenheit einer Drittperson (sog. begleitetes Besuchsrecht) in Grenzen gehalten werden können (vgl. <ref-ruling> E. 3; Urteile 5A_401/2014 vom 18. August 2014 E. 3.2.2; 5A_381/2011 vom 10. November 2011 E. 4.2.1; 5A_699/2007 vom 26. Februar 2008 E. 2.1). Das begleitete Besuchsrecht bezweckt, der Gefährdung des Kindes wirksam zu begegnen, Krisensituationen zu entschärfen und Ängste abzubauen sowie Hilfestellungen für eine Verbesserung der Beziehungen zum Kind zu bieten und zwischen den Eltern zu vermitteln. Grundsätzlich stellt das begleitete Besuchsrecht eine Übergangslösung dar und ist daher nur für eine begrenzte Dauer anzuordnen; es scheidet aus, wenn von vornherein klar ist, dass die Besuche nicht innert absehbarer Zeit ohne Begleitung ausgeübt werden können (vgl. <ref-ruling> E. 3; Urteil 5A_728/2015 vom 25. August 2016 E. 2.2; Urteil 5A_968/2016 vom 14. Juni 2017 E. 4.1).
Auch diese Ausgestaltung des persönlichen Verkehrs setzt freilich konkrete Anhaltspunkte für eine Gefährdung des Kindeswohls voraus. Dies gilt unabhängig von der Frage, ob es einer konkreten Gefährdung bedarf oder ob auch eine abstrakte Gefährdung genügt, wie die Beschwerdegegnerin in ihrer Vernehmlassung geltend macht. Auch eine bloss abstrakte Gefährdung muss mit konkreten Anhaltspunkten untermauert werden. Dabei ist zu berücksichtigen, dass ein Besuch unter Aufsicht einer Begleitperson für die Beteiligten nicht denselben Wert hat, wie ein unbegleiteter. Entsprechend darf die Eingriffsschwelle beim begleiteten Besuchsrecht nicht tiefer angesetzt werden, als wenn es um die Verweigerung oder den Entzug des Rechts auf persönlichen Verkehr überhaupt ginge (<ref-ruling> E. 3c). Auch für das begleitete Besuchsrecht gilt, dass diese Massnahme zur Erreichung ihres Ziels erforderlich sein muss und immer nur die mildeste Erfolg versprechende Massnahme angeordnet werden darf (Urteile 5A_932/2012 vom 5. März 2013 E. 5.1; 5A_968/2016 vom 14. Juni 2017 E. 4.1).
3.3.
3.3.1. Soweit der Beschwerdeführer dem entgegenhält, das begleitete Besuchsrecht sei mit Blick auf seine Dauer - es gilt seit 2017 - zu einer Dauermassnahme geworden, was nicht zulässig sei, kann ihm nicht gefolgt werden. Klar ist zwar einerseits, dass es nicht bloss um eine vorsorgliche Massnahme geht, zumal angesichts der vom Obergericht geschützten Anordnung des Familiengerichts letztlich nicht absehbar ist, wie lange das angeordnete begleitete Besuchsrecht konkret gelten soll. Jedoch hält das Obergericht im angefochtenen Entscheid mit aller Deutlichkeit fest, dass das Ziel immer noch die Ausübung eines uneingeschränkten, üblichen Besuchsrechts sei (Urteil, S. 7, E. 3, erster Absatz). Im vom Obergericht geschützten Entscheid wird die Beiständin denn auch angewiesen, dem Familiengericht bis zum 31. Dezember 2019 einen Verlaufsbericht zum individuell begleiteten Besuchsrecht zu liefern (Dispositivziffer 8.2. des Entscheids vom 25. Juni 2019). Ein solcher Bericht macht nur Sinn, wenn das Familiengericht zu diesem Zeitpunkt die Situation neu beurteilen will. Damit wird der vorübergehende Charakter des begleiteten Besuchsrechts betont. Zudem lässt sich nicht eine allgemeine Maximaldauer für ein als Übergangslösung konzipiertes begleitetes Besuchsrecht festsetzen. Vielmehr kommt es immer auf die Entwicklung im einzelnen Fall an. Die behördlichen Anordnungen bezüglich des Besuchsrechts bezwecken stets, einen selbstbestimmten Umgang zwischen dem entsprechenden Elternteil und dem heranwachsenden Kind zu ermöglichen. Insofern sind diese Anordnungen immer als vorübergehend zu verstehen und mit Blick auf die Volljährigkeit des Kindes befristet.
Diese Überlegungen liegen auch dem angefochtenen Entscheid zu Grunde. Mit dem Übergang von einem in einer Institution begleiteten Besuchsrecht zu einem individuell begleiteten Besuchsrecht mit einer Verpflichtung zu einem Verlaufsbericht nach sechs Monaten wird der vorübergehende Charakter gewahrt und, falls ein unbegleitetes Besuchsrecht das Kindeswohl gefährdet und die individuelle Begleitung diese Gefährdung beseitigen kann, ist die Massnahme auch verhältnismässig.
3.3.2. Zu Recht macht der Beschwerdeführer jedoch geltend, ein begleitetes Besuchsrecht dürfe nach <ref-law> nur angeordnet werden, wenn konkrete Anhaltspunkte für die Gefährdung des Kindeswohls bestünden. Das Kantonsgericht sei aber davon ausgegangen, dass seine Krankheit von vornherein kein übliches Besuchsrecht zulasse.
In der Tat ist das blosse Vorliegen einer psychischen Erkrankung noch kein Grund, ein übliches Besuchsrecht zu verweigern, zumal Bundesgesetze verfassungs- und konventionskonform auszulegen sind (vgl. <ref-law>; Art. 5 Ziff. 2, Art. 12 Ziff. 2, Art. 22 des Übereinkommens vom 13. Dezember 2006 über die Rechte von Menschen mit Behinderungen [SR 0.109; UN-Behindertenkonvention]). Das Obergericht hat sich aber bezüglich der Krankheit des Beschwerdeführers nicht auf die Feststellung des Vorliegens derselben beschränkt. Vielmehr hält es zusätzlich fest, dass das Verhalten des Beschwerdeführers "in Folge seiner Erkrankung oft merkwürdig" erscheine (Urteil, S. 7, E. 3). Inwiefern das Verhalten merkwürdig sein soll und inwiefern durch die entsprechenden Besonderheiten das Wohl der Kinder gefährdet wird, wenn sie mit dem Beschwerdeführer alleine sind, wird dann allerdings nicht ausgeführt.
Mit solchen allgemeinen und vagen Feststellungen, lässt sich eine Gefährdung des Kindeswohls nicht belegen und folglich auch eine Einschränkung des persönlichen Verkehrs nicht begründen. Insofern ist dem Beschwerdeführer Recht zu geben.
Auch bezüglich des Vorwurfs, der Beschwerdeführer habe Mühe, vorgegebene Regeln einzuhalten (Urteil, S. 7, E. 3, erster Absatz), wirft der Beschwerdeführer dem Obergericht zu Recht vor, vollständig im Vagen zu bleiben. Das Obergericht legt in keiner Weise dar, worin diese Mühe bestehen sollte. Konkretes ist auch nicht dem Entscheid des Familiengerichts zu entnehmen. In seiner Beschwerde gibt der Beschwerdeführer zu, einen vereinbarten Termin nicht wahrgenommen zu haben, hält aber auch fest, die Verschiebung rechtzeitig verlangt zu haben. Dass die Beschwerdegegnerin nunmehr in ihrer Vernehmlassung die Versäumnis weiterer Termine behauptet, widerspricht dem Novenverbot (<ref-law>) und muss unbeachtlich bleiben. Das Bundesgericht ist an die Sachverhaltsfeststellungen der Vorinstanz gebunden (<ref-law>).
Eine derart allgemeine Beurteilung, ohne Konkretisierung des störenden Verhaltens und der daraus folgenden Gefährdung des Kindeswohls, ist nicht geeignet, eine Beschränkung des Besuchsrechts zu rechtfertigen.
3.3.3. Im Weiteren wirft das Obergericht dem Beschwerdeführer vor, er bevorzuge den Sohn gegenüber der Tochter (Urteil, S. 7, E. 3, zweiter Absatz). Zur Konkretisierung der Feststellung verweist das Obergericht auf den Bericht der Beiständin vom 25. November 2019. Diese gibt indessen nur wieder, was der Verein F._ ihr gemeldet habe und trifft insoweit keine eigenen Feststellungen (Bericht der Beiständin, S. 4). Es sei zu beobachten, dass der Beschwerdeführer sich fast ausschliesslich mit dem Sohn und nicht mit der Tochter beschäftigt habe. Der Beschwerdeführer hält dem entgegen, dass selbst wenn eine solche Bevorzugung vorläge, sich daraus noch keine relevante Gefährdung des Wohls des Sohnes ergebe. Auch wenn eine Bevorzugung einzelner Kinder in einer Familie zweifellos der familiären Situation in keiner Weise dienlich ist, lässt sich nicht nachvollziehen, inwiefern dadurch das Wohl des bevorzugten Kindes in einem Masse gefährdet sein soll, das eine Einschränkung des persönlichen Verkehrs rechtfertigen könnte, wie der Beschwerdeführer sinngemäss zu Recht festhält. Insbesondere ist nicht zu sehen, inwiefern mit einem begleiteten Besuchsrecht dieser Bevorzugung entgegengetreten werden könnte.
Der Vorwurf erweist sich folglich für die Verweigerung eines unbegleiteten Besuchsrechts als ungeeignet.
3.3.4. Soweit das Gericht Tätlichkeiten des Beschwerdeführers als Grund für die Begleitung beim Besuchsrecht anführt, weist der Beschwerdeführer zu Recht darauf hin, dass ihm ausschliesslich Tätlichkeiten gegenüber der Kindesmutter vorgehalten worden sind. Gemäss den entsprechenden Sachverhalten, wie sie sich aus den Strafakten ergeben, auf die das Obergericht verweist, ereigneten sich die Vorfälle nie in Anwesenheit der Kinder. Wenn die Beschwerdegegnerin in ihrer Vernehmlassung weitere Vorfälle erwähnt, ist sie damit nicht zu hören, da das Bundesgericht an die Sachverhaltsfeststellungen der Vorinstanz gebunden ist (<ref-law>). Die verbindlich festgestellten Tätlichkeiten betreffen die Partnerebene und nicht das Verhältnis zu den Kindern. Es ist deshalb auch hier nicht zu sehen, inwiefern die Begleitung während der persönlichen Kontakte nützlich sein sollte. Ihr Zweck liegt nicht in der Befriedung des Partnerkonflikts, soweit dieser nicht nachweislich das Kindeswohl gefährdet, wie der Beschwerdeführer zutreffend festhält. Die Einschränkungen des Besuchsrechts dienen dem Verhältnis des Kindes zu seinen Eltern. Dass die Kontakte zwischen dem Beschwerdeführer und seiner geschiedenen Ehefrau problematisch sein können, sieht offenbar auch der Beschwerdeführer ein. Entsprechend beantragt er nicht, auf jede Begleitung und jede Kindesschutzmassnahme zu verzichten. Vielmehr beantragt er wie schon vor den kantonalen Instanzen, dass die Übergabe der Kinder sehr wohl begleitet wird und auch eine Beistandschaft mit der Aufgabe bestehen bleibt, jeweils die konkreten Modalitäten der Übergabe festzulegen. Damit kann dem Konflikt auf der Partnerebene begegnet und seine allfälligen Auswirkungen auf die Kinderebene verhindert werden.
Inwiefern die vom Beschwerdeführer vorgeschlagenen Schutzmassnahmen nicht genügen sollten, um der mit dem Konflikt auf Partnerebene verbundenen Kindesgefährdung entgegenzutreten, ist nicht zu sehen. Das Obergericht setzt sich im angefochtenen Urteil mit dieser Frage gar nicht auseinander. Namentlich ist in keiner Weise dargetan, wie die Begleitung während des gesamten Besuchsrechts hier einen weiteren Schutz bieten soll.
3.3.5. Schliesslich hält das Obergericht fest, der Sohn C.A._ habe zu Beginn der Krankheit des Beschwerdeführers, d.h. Ende 2015, mit Angst und Unruhe darauf reagiert, wenn der Beschwerdeführer sich gegenüber der Kindsmutter aggressiv gezeigt und ihm gegenüber "wenig kindgerecht" verhalten habe. Zum einen legt das Obergericht in keiner Weise dar, ob diese Schwierigkeiten noch immer bestehen. Zudem lassen sich, wie dargelegt, die Konflikte zwischen den Eltern durch andere Massnahmen als eine Begleitung der persönlichen Kontakte in geordnete Bahnen leiten und vom Sohn fernhalten. Diese allgemeinen Feststellungen sind jedenfalls nicht geeignet, um die Begleitung als notwendig erscheinen zu lassen.
Soweit das Obergericht aus den genannten Feststellungen schliesst, dass der Sohn C.A._ die Situation bewusst wahrnehme und deshalb unbegleitete Besuche eine unmittelbare Gefährdung seiner psychischen Gesundheit darstellten (Urteil, S. 8, E. 3, letzter Absatz), kann dem Obergericht nicht gefolgt werden. Es ist nämlich nicht zu sehen, wie die starke Einschränkung des persönlichen Kontakts zum Vater und die Anordnung einer Begleitung bei den verbleibenden Besuchen hindern soll, dass das Kind die Situation wahrnimmt. Vielmehr wird mit den entsprechenden Massnahmen das Bestehen des Partnerkonflikts erst recht sichtbar gemacht.
3.3.6. Bezüglich der Tochter D.A._ hält das Obergericht im angefochtenen Entscheid nur fest, dass zwar keine direkten Reaktionen der Tochter dokumentiert seien, aber mit zunehmendem Alter die gleichen Reaktionen zu erwarten seien, wie beim älteren Bruder. Zudem kämen die Besuche für beide Kinder nur gemeinsam in Frage (Urteil, S. 8, E. 3, letzter Absatz). Das Obergericht widerspricht sich allerdings mit seinem Entscheid und dessen Begründung mit Bezug auf das erste Argument selbst, indem es festhält, Zweck der angefochtenen Anordnung sei, künftig ein unbegleitetes Besuchsrecht zu ermöglichen, und die Beiständin verpflichtet, Ende Jahr einen Folgebericht vorzulegen, damit die Situation neu beurteilt werden könne. Soll die Anordnung nur für eine beschränkte (Übergangs-) Zeit gelten, kann sie nicht damit begründet werden, wie das Kind zu einem späteren Zeitpunkt auf die Situation reagieren werde. Die Anordnung betrifft nicht diesen späteren Zeitpunkt, sondern das Jetzt.
Auch dem zweiten Argument kann nicht gefolgt werden. Es ist nicht einzusehen, warum nicht unterschiedliche Regelungen des persönlichen Verkehrs möglich sein sollen. Jedes Kind hat einen selbständigen Anspruch auf Kontakt mit seinen Eltern. Dass dieser Kontakt zu einem Geschwister wegen dessen Gefährdung eingeschränkt werden muss, bedeutet nicht, dass sich diese Einschränkungen auch bezüglich der persönlichen Kontakte des anderen Kindes rechtfertigen.
3.3.7. Beim Entscheid über die persönlichen Beziehungen der Eltern zu den Kindern sind indessen die gesamten Umstände zu berücksichtigen und sie sind in ihrem Zusammenspiel zu würdigen und gegeneinander abzuwägen (<ref-ruling> E. 3; <ref-ruling> E. 3.d). Von daher ist es sehr wohl möglich, dass jeder Umstand für sich alleine keine Einschränkung rechtfertigt, alle zusammen aber sehr wohl zu einer Gefährdung des Kindes führen, welcher durch eine Einschränkung begegnet werden kann und muss. Eine unvoreingenommene Betrachtung der im angefochtenen Entscheid festgestellten Sachverhalte und aufgeführten Argumente lässt aber auf keine relevante Gefährdung des Wohles jedes der beiden Kinder schliessen, welche durch eine derart weitgehende Einschränkung des persönlichen Verkehrs und namentlich ein begleitetes Besuchsrecht vermindert werden könnte.
Es ist offensichtlich, dass es sich um eine hochkonfliktuelle Beziehung zwischen den Parteien handelt. Dass ein solcher Konflikt auch für die Kinder alles andere als ideal ist, versteht sich von selbst. Dem angefochtenen Entscheid sind aber keine hinreichenden Feststellungen und Folgerungen zu entnehmen, inwiefern ein erheblich weniger eingeschränktes Besuchsrecht das Wohl der Kinder gefährden soll. Die Beschwerde ist folglich grundsätzlich gutzuheissen.
4.
Der Beschwerdeführer beantragt nicht nur, auf eine individuelle Begleitung des Besuchsrechts zu verzichten und die Begleitung ausschliesslich auf die Übergabe der Kinder zu beschränken sowie die Aufgabe der Beiständin an diese veränderte Aufgabe anzupassen. Er verlangt auch, das Besuchsrecht zeitlich auszudehnen. Das Obergericht hat zu dieser Frage nicht Stellung genommen, weil eine Ausdehnung mit einer Übernachtung aus naheliegenden Gründen bei einem begleiteten Besuchsrecht nicht in Frage kommt. Um über diesen Antrag entscheiden zu können, hat das Bundesgericht folglich im angefochtenen Entscheid keine genügende Grundlage. Die Sache ist insoweit an die Vorinstanz zu neuer Entscheidung zurückzuweisen.
5.
Die Beschwerde erweist sich als begründet; sie ist gutzuheissen, soweit darauf eingetreten wird. Der angefochtene Entscheid ist aufzuheben und die Sache ist an das Obergericht zurückzuweisen. Dieses wird auch erneut über die Verlegung der Prozesskosten des kantonalen Verfahrens zu entscheiden haben. Selbst wenn der Ausgang des Verfahrens teilweise offen ist, gilt die Rückweisung zum erneuten Entscheid im Hinblick auf die Gerichtskosten und die Parteientschädigung als vollständiges Obsiegen der betreffenden Partei. Unerheblich bleibt, ob eine Rückweisung beantragt und ob das entsprechende Begehren im Haupt- oder Eventualantrag gestellt wurde (<ref-ruling> E 11.1; Urteile 5A_902/2018 vom 14. August 2019 E. 5; 5A_899/2019 vom 17. Juni 2020 E. 4.2). Dass auf einzelne Vorbringen nicht eingetreten werden konnte, rechtfertigt keine Kostenausscheidung. Unter diesen Umständen gilt der Beschwerdeführer als vollständig obsiegend, weshalb die Gerichtskosten der Beschwerdegegnerin aufzuerlegen sind (<ref-law>) und diese dem Beschwerdeführer die Parteikosten zu ersetzen hat (Art. 68 Abs. 1 und 2 BGG).
Der Beschwerdeführer ersucht für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege und Beiordnung seines Anwalts als unentgeltlichen Rechtsvertreter. Die diesbezüglichen Voraussetzungen sind erfüllt (Art. 64 Abs. 1 und 2 BGG). Da der Beschwerdeführer keine Verfahrenskosten zu tragen hat, ist sein Gesuch um unentgeltliche Rechtspflege allerdings gegenstandslos geworden, soweit es die Befreiung von den Gerichtskosten betrifft (<ref-ruling> E. 5). Nicht gegenstandslos wird es hingegen hinsichtlich der Bestellung eines unentgeltlichen Rechtsbeistands: Zwar wird dem obsiegenden Beschwerdeführer eine Parteientschädigung zugesprochen. Ob diese einbringlich sein wird, ist indessen ungewiss. Im Fall der Uneinbringlichkeit der von der Beschwerdegegnerin geschuldeten vollen Parteientschädigung ist dem amtlichen Anwalt des Beschwerdeführers eine reduzierte Entschädigung aus der Bundesgerichtskasse zu entrichten (Art. 10 des Reglementes vom 31. März 2006 über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht; SR 173.110.210.3; vgl. Urteil 5A_297/2016 vom 2. Mai 2017 E. 6).

Demnach erkennt das Bundesgericht:
1.
Soweit auf die Beschwerde eingetreten wird, wird sie teilweise gutgeheissen und das Urteil des Obergerichts des Kantons Aargau, Kammer für Kindes- und Erwachsenenschutz, vom 10. Dezember 2019 aufgehoben. Die Sache wird im Sinne der Erwägungen zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird gutgeheissen, soweit es nicht gegenstandslos geworden ist, und es wird ihm Rechtsanwalt Ralph Schiltknecht als unentgeltlicher Rechtsvertreter beigegeben.
3.
Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdegegnerin auferlegt.
4.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen. Im Fall der Uneinbringlichkeit der Parteientschädigung wird dem amtlichen Rechtsbeistand des Beschwerdeführers eine reduzierte Entschädigung von Fr. 1'800.-- aus der Bundesgerichtskasse entrichtet.
5.
Dieses Urteil wird den Parteien, C.A._, D.A._, dem Obergericht des Kantons Aargau, Kammer für Kindes- und Erwachsenenschutz, und dem Familiengericht Aarau schriftlich mitgeteilt.
Lausanne, 2. September 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied : Der Gerichtsschreiber:
Escher Buss