Sachverhalt: A. A.A._ und B.A._ sind die getrenntlebenden Eltern der in deren Ehe geborenen Kinder C.A._ (geb. 2009) und D.A._ (geb. 2012). Mit Eheschutzentscheid vom 1. September 2014 wurden die Kinder unter die Obhut der Mutter B.A._ gestellt. Für die Regelung des Besuchsrechts wurde eine Erziehungsbeistandschaft errichtet und das Besuchsrecht des Vaters A.A._ geregelt. Am 11. Januar 2017 ordnete das Familiengericht Aarau als Kindesschutzbehörde in zwei separaten Entscheiden für beide Kinder für die Dauer von sechs Monaten ein begleitetes Besuchsrecht an. Diese Anordnung wurde mit zwei weiteren Entscheiden des Familiengerichts am 6. Juli 2018 bis auf Weiteres verlängert. B. Nachdem das Bezirksgericht Aarau am 9. Mai 2019 die Ehe der Parteien geschieden hatte, regelte das Familiengericht Aarau am 25. Juni 2019 aufgrund weiterer Eingaben der Eltern für beide Kinder das Besuchsrecht neu. Es sah im Wesentlichen ein individuell begleitetes Besuchsrecht von A.A._ an zwei Samstagen pro Monat während 3 1⁄2 Stunden vor, mit dessen Durchführung die soziale Organisation E._ beauftragt wurde. Das Gericht ordnete die Weiterführung der bereits bestehenden Beistandschaft gemäss Art. 308 Abs. 2 ZGB an und regelte die Aufgaben der Beiständin. Diese wurde auch aufgefordert, dem Familiengericht Aarau bis zum 31. Dezember 2019 einen Verlaufsbericht über das individuell begleitete Besuchsrecht mit Empfehlungen zu erstatten. Eine von A.A._ dagegen erhobene Beschwerde wies das Obergericht des Kantons Aargau mit Entscheid vom 10. Dezember 2019 ab. C. Gegen diesen Entscheid gelangt A.A._ mit Beschwerde in Zivilsachen vom 28. Januar 2020 an das Bundesgericht. Der Beschwerdeführer verlangt im Wesentlichen, es sei ihm "jeden Samstag, von 09.00 Uhr bis Sonntag 19.00 Uhr, während sechs Monaten; sofern erfolgreich, danach jedes zweite Wochenende im Monat, von Samstag 09.00 Uhr, bis Sonntag, 19.00 Uhr" ein Besuchsrecht zu gewähren. Er verlangt, dass diese Besuche nicht mehr begleitet werden, sondern sich die Begleitung nur noch auf die jeweilige Übergabe der Kinder zu beschränken habe. Überdies verlangt er eine entsprechende Anpassung der Aufgaben der Beiständin. B.A._ (Beschwerdegegnerin) hat sich mit Eingabe vom 11. Juni 2020 zur Beschwerde vernehmen lassen und beantragt die vollständige Abweisung der Beschwerde, soweit darauf einzutreten sei. Mit Schreiben vom 15. Juni 2020 hat sich auch die Beiständin der Kinder vernehmen lassen. Auch sie beantragt sinngemäss die Abweisung der Beschwerde.