Sachverhalt:
A.
A.a. A._ und B._ sind die unverheirateten und getrenntlebenden Eltern des am 2. November 2018 geborenen C._. A._ beantragte dem Familiengericht Zofingen als Kindesschutzbehörde mit Eingabe vom 10. Mai 2019 die Zuweisung der gemeinsamen elterlichen Sorge für C._ und die Regelung des persönlichen Verkehrs. B._ reichte ihrerseits am 4. Juli 2019 gegen A._ eine Unterhaltsklage ein, welche das Familiengericht Zofingen mit Präsidialverfügung in das Verfahren bezüglich der Regelung des persönlichen Verkehrs aufnahm.
A.b. Mit Entscheid vom 20. November 2019 stellte das Familiengericht Zofingen C._ unter die gemeinsame elterliche Sorge der Parteien und regelte den persönlichen Verkehr folgendermassen:
"5. 1.1. Dem Vater wird ein Besuchsrecht eingeräumt, das schrittweise aufgebaut wird. Der Aufbau des Besuchsrechts findet wie folgt statt:
1. Schritt: 1⁄2 Tag pro Woche ohne Begleitung der Mutter;
2. Schritt: 1 Tag pro Woche ohne Begleitung der Mutter;
3. Schritt: 2 Tage mit Übernachtung jedes zweite Wochenende und 1 Wochentag ohne Übernachtung;
4. Schritt: 2 Übernachtungen von Freitagabend bis Sonntagabend jedes zweite Wochenende und 1 Wochentag ohne Übernachtung sowie 3 Wochen Ferien pro Jahr.
1.2. Der 4. Schritt soll anfangs Februar 2020 erreicht werden."
Im Übrigen ordnete das Gericht eine Beistandschaft nach Art. 308 Abs. 1 und 2 ZGB für C._ an und regelte die Aufgaben der Beiständin.
B.
Mit Entscheid vom 18. März 2020 hiess das Obergericht des Kantons Aargau eine Beschwerde von B._ teilweise gut und regelte den persönlichen Verkehr folgendermassen neu:
"5. Der Vater wird berechtigt erklärt, den Sohn C._
- Ab sofort bis 31. Mai 2020 jeden Samstagnachmittag von 14.00 Uhr bis 18.00 Uhr
- Ab 01.06.2020 bis 31.01.2021 jeden Samstag von 09.00 Uhr bis 18.00 Uhr
- Ab 01.02.2021 bis 31.12.2021 jedes Wochenende der ungeraden Kalenderwochen von Samstag 09.00 Uhr bis Sonntag 12.00 Uhr
- Ab 01.01.2022 bis 31.07.2023 jedes Wochenende der ungeraden Kalenderwochen von Samstag 09.00 Uhr bis Sonntag 18.00 Uhr
- Ab 01.08.2023 jedes Wochenende der ungeraden Kalenderwochen von Freitag 18.00 Uhr bis Sonntag 18.00 Uhr zu sich auf Besuch zu nehmen.
Dem Vater wird ab Eintritt von C._ in den Kindergarten ein Ferienrecht auf eigene Kosten von jährlich 2 Wochen und ab Eintritt in die Primarschule von jährlich 3 Wochen eingeräumt."
C.
C.a. A._ (Beschwerdeführer) gelangt gegen diesen Entscheid mit Beschwerde in Zivilsachen nach <ref-law> vom 23. April 2020 ans Bundesgericht und verlangt sinngemäss die Wiederherstellung der erstinstanzlichen Regelung.
C.b. In ihrer Vernehmlassung beantragt die Beschwerdegegnerin, die Beschwerde vollumfänglich abzuweisen. In der Replik und der Duplik halten Beschwerdeführer und Beschwerdegegnerin an ihren Anträgen fest. Das Obergericht des Kantons Aargau hat auf eine Vernehmlassung verzichtet.
C.c. Das Bundesgericht hat sich die kantonalen Akten überweisen lassen.

Erwägungen:
1.
1.1. Entgegen der Behauptung in der Beschwerde ist der angefochtene Entscheid nicht ein Endentscheid im Sinn von <ref-law>; wohl aber ist er ein Zwischenentscheid gemäss <ref-law>, zumal das erstinstanzliche Verfahren noch nicht abgeschlossen ist. Der Zwischenentscheid beschlägt das Besuchsrecht des Kindsvaters, womit er einen nicht wieder gutzumachenden Nachteil zur Folge haben kann (Art. 93 Abs. 1 Bst. a BGG; <ref-ruling> E. 1). Der Rechtsweg eines Zwischenentscheids folgt jenem der Hauptsache. Dort geht es um die Regelung der elterlichen Sorge und den persönlichen Verkehr und damit um eine nicht vermögensrechtliche Zivilsache (<ref-law>).Der Beschwerdeführer war Partei im kantonalen Verfahren; er ist in der Sache unterlegen und hat damit ein schützenswertes Interesse an der Aufhebung des angefochtenen Entscheids (<ref-law>). Die Beschwerde wurde sodann fristgerecht eingereicht (Art. 100 Abs. 1 i.V.m. Art. 46 Abs. 1 Bst. a BGG und Art. 1 Abs. 1 der Verordnung des Bundesrates vom 20. März 2020 über den Stillstand der Fristen in Zivil- und Verwaltungsverfahren zur Aufrechterhaltung der Justiz im Zusammenhang mit dem Coronavirus [COVID-19; AS 2020 849]). Die Beschwerde gemäss <ref-law> steht damit grundsätzlich offen.
1.2. Zulässig sind rechtliche Vorbringen im Sinn von Art. 95 f. BGG. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Einwänden (vgl. <ref-law>). In der Beschwerdebegründung ist daher in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid rechtswidrig sein soll. Die Begründung muss sachbezogen sein und sich auf den Streitgegenstand beziehen und beschränken; die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (<ref-ruling> E. 2, 115 E. 2).
1.3. Hingegen ist die obergerichtliche Sachverhaltsfeststellung für das Bundesgericht grundsätzlich verbindlich (<ref-law>). Diesbezüglich sind einzig klar und detailliert erhobene und soweit möglich belegte Verfassungsrügen, insbesondere Willkürrügen, möglich, während appellatorische Ausführungen nicht genügen (Art. 97 Abs. 1 und Art. 106 Abs. 2 BGG; <ref-ruling> E. 2.3). Das gilt nicht nur für die Beschwerdeschrift, sondern auch für die Vernehmlassung der Beschwerdegegnerin und alle weiten Rechtsschriften.
1.4. Echte Noven sind im bundesgerichtlichen Verfahren grundsätzlich ausgeschlossen (<ref-ruling> E. 2.1; <ref-ruling> E. 3.1.2) und unechte sind nur insoweit zulässig, als erst der angefochtene Entscheid dazu Anlass gegeben hat (<ref-law>), was näher zu begründen ist (<ref-ruling> E. 3). Die vom Beschwerdeführer neu eingereichten Dokumente können mangels einer entsprechenden Begründung nicht berücksichtigt werden, soweit sie zeitlich vor dem angefochtenen Entscheid entstanden sind, und in absoluter Weise nicht, soweit sie ein späteres Datum tragen.
2.
2.1. Das Obergericht hat die Änderungen der Regelung des persönlichen Verkehrs gegenüber dem Entscheid der ersten Instanz im Wesentlichen damit begründet, dass die Anordnung von der praxisüblichen Besuchsrechtsregelung abweiche, ohne dass dafür ausreichende Gründe ersichtlich seien (Urteil, S. 9 E. 3.2). Solange zwischen den Eltern kein vertieftes Einvernehmen bestehe und solange nicht ersichtlich sei, wie ein solcher weiterer regelmässiger Besuchstag handzuhaben sei, bestehe kein Grund für eine Ausdehnung. Der erstinstanzliche Entscheid lasse auch eine Abstufung des Besuchsrechts nach dem Alter vermissen, was insbesondere für die Ferienregelung naheläge. Es sei auch bis jetzt kein weiterer Besuchstag praktiziert worden. Zudem bestünden zwischen den Parteien offenkundig stark unterschiedliche elterliche Auffassungen (Urteil, S. 10 E. 3.2).
2.2. Der Beschwerdeführer stösst sich an der restriktiven Besuchsrechtsregelung des Obergerichts und sieht darin eine Verletzung von <ref-law>.
Das minderjährige Kind und die Eltern, denen die elterliche Sorge oder Obhut nicht zusteht, haben gegenseitig Anspruch auf angemessenen persönlichen Verkehr (<ref-law>). Zweck des Besuchsrechts ist es, den Aufbau einer lebendigen Eltern-Kindesbeziehung zu ermöglichen. Für das Kind ist es sehr wichtig, zu beiden Eltern Kontakt zu haben, was bei seiner Identitätsfindung eine entscheidende Rolle spielen kann (<ref-ruling> E. 2.2.2). Wie das Obergericht richtig festhält, bildet das Kindeswohl für die Ausgestaltung des Besuchsrechts die oberste Richtschnur (Urteil, S. 9 E. 3.1; <ref-ruling> E. 5). Das Kindeswohl ist allerdings ein unbestimmter Rechtsbegriff, den es bezogen auf den Einzelfall zu konkretisieren gilt, was neben einer Analyse des konkreten Sachverhalts auch eine Vielzahl von Wertentscheidungen beinhaltet.
Während die Konkretisierung bezüglich des Einzelfalls in erster Linie eine Sachverhaltsfrage ist, welche das Bundesgericht grundsätzlich nicht überprüfen kann (vgl. E. 1.3), handelt es sich bezüglich der Werte, auf die das Kindeswohl auszurichten ist, um eine Rechtsfrage, welche das Bundesgericht frei prüft. Dem Sachgericht kommt allerdings bei der Regelung und der Ausgestaltung der Besuchsmodalitäten ein weites Ermessen zu (Urteile 5A_968/2016 vom 14. Juni 2017 E. 5.1; 5A_457/2013 vom 24. Oktober 2013 E. 2.1). Bei der Überprüfung dieses Ermessensentscheids schreitet das Bundesgericht nur ein, wenn die kantonale Instanz von ihrem Ermessen offensichtlich falschen Gebrauch gemacht hat. Das ist insbesondere dann der Fall, wenn sie Gesichtspunkte berücksichtigt hat, die keine Rolle hätten spielen dürfen, wenn sie umgekehrt rechtserhebliche Umstände ausser Acht gelassen hat oder wenn sich der Ermessensentscheid im Ergebnis als offensichtlich unbillig oder ungerecht erweist (<ref-ruling> E. 3.2.5; <ref-ruling> E. 2.2.1; <ref-ruling> E. 2). Nicht nur ein falscher Gebrauch des Ermessens, sondern sogar Willkür liegt vor, wenn die Vorinstanz eine Regelung bloss mit Verweis auf ihre übliche Praxis trifft und die Besonderheiten des Einzelfalles ins Auge springen (<ref-ruling> E. 7.2). Das Bundesgericht hat immer betont, dass bei der Regelung des persönlichen Verkehrs den Besonderheiten des konkreten Falls zentrale Bedeutung zukommt (<ref-ruling> E. 2.7; <ref-ruling> E. 2.5; <ref-ruling> E. 5.3).
2.3. Wie das Obergericht richtig festhält, kommt bei der Ausgestaltung des Besuchsrechts dem Alter des Kindes eine entscheidende Bedeutung zu. Ein Kleinkind hat diesbezüglich andere Bedürfnisse als ein Jugendlicher. Insbesondere ist das Zeitgefühl bei einem Kleinkind anders. Längere Zeitabstände zwischen den Besuchen können bei Kleinkindern zur Ungewissheit führen, ob sie den entsprechenden Elternteil je wieder sehen. Deshalb geht es nicht um einen Kontakt von einigen Stunden alle zwei Wochen, sondern um Kontakte von einigen Stunden innerhalb zweier Wochen (ANDREA BÜCHLER/SANDRO CLAUSEN, Das "gerichtsübliche" Besuchsrecht, FamPra 2020 S. 539; vgl. auch <ref-ruling> E. 2.8). Zudem ist die Bindung an einen Elternteil und die Intensität der Beziehung zum Besuchsberechtigten bei Kleinkindern zentral. Wichtig ist auch, die vor der Trennung der Eltern gelebte Betreuung. Die Ausgestaltung hängt auch von der Lebensgestaltung der Eltern und des Kindes, den räumlichen Gegebenheiten und zeitlichen Verfügbarkeiten der Eltern ab. Für die Umsetzung und namentlich auch den Detaillierungsgrad der Regelung ist das Verhältnis zwischen den Eltern wichtig (vgl. zum Ganzen: ANDREA BÜCHLER, in: FamKomm Scheidung, Bd. I, 3. Aufl. 2017, N. 28 zu <ref-law>; INGEBORG SCHWENZER/MICHELLE COTTIER, in: Basler Kommentar, Zivilgesetzbuch I, 6. Aufl. 2018, N. 13 f. zu <ref-law>; HEINZ HAUSHEER/THOMAS GEISER/REGINA AEBI-MÜLLER, Das Familienrecht des Schweizerischen Zivilgesetzbuches, 6. Aufl. 2018, Rz. 17.138). Diese Punkte sind auch vorliegend zu beachten.
3.
3.1. Der Beschwerdeführer macht geltend, schon der Ausgangspunkt der obergerichtlichen Argumentation sei nicht zutreffend. Dieses habe seine Entscheidung auf die Überlegung gestützt, dass die Gerichte im Allgemeinen davon ausgingen, "bei Kleinkindern sei ein Besuchsrecht von zwei halben Tagen pro Monat (ohne Ferienrecht) bzw. bei Schulkindern ein Besuchsrecht von zwei Wochenenden pro Monat und zwei bis drei Ferien wochen angemessen und bilde im Hinblick auf spezielle Fälle (...) den Aus gangspunkt" (Urteil, S. 9 E. 3.1 am Ende). Der Beschwerdeführer hält dem entgegen, dass sich in den letzten Jahren als Folge veränderter Vorstellungen über die Organisation der Elternpflichten, die sich auch in den verschiedenen Gesetzesrevisionen niedergeschlagen haben, eine deutliche Tendenz zur Erweiterung des Besuchsrechts gezeigt habe (Beschwerdeschrift, Ziff. 5, S. 11). Sinngemäss macht der Beschwerdeführer geltend, das Obergericht habe ihm nur ein eingeschränktes Besuchsrecht gewährt, ohne dass für eine Einschränkung eine Begründung bestehe.
3.2. Das Bundesgericht hat mit konstanter Rechtsprechung in aller Deutlichkeit festgehalten, dass die Besuchsrechtsregelung an den jeweiligen Besonderheiten des Einzelfalls auszurichten sei (vgl. E. 2.2). Das schliesst allerdings eine als Ausgangspunkt anerkannte Praxis noch nicht aus, sofern einerseits diese genügend differenziert ist und andererseits im zu beurteilenden Einzelfall dann auf Grund der konkreten Gegebenheiten auch leicht davon abgewichen werden kann. Wie der Beschwerdeführer zu Recht ausführt, stellt das vom Obergericht als das "im Allgemeinen" von den Gerichten als Ausgangspunkt gewählte Besuchsrecht (bei Kleinkindern zwei halbe Tage pro Monat ohne Ferienrecht und bei Schulkindern zwei Wochenende n und zwei bis drei Wochen Ferien) nicht den Normalfall, sondern ein Minimum dar (vgl. <ref-ruling> E. 2.8; Urteil 5A_968/2016 vom 14. Juni 2017 E. 5.1). Ein so beschränktes Besuchsrecht muss sich folglich auf Grund der Umstände des konkreten Falls rechtfertigen. Diese können auch darin bestehen, dass sich der Besuchsberechtigte auch vor der Trennung nur sehr beschränkt um das Kind gekümmert hat und im Wesentlichen eine bereits ähnliche Betreuungssituation weitergeführt wird. Als Ausgangspunkt, von dem nur mit besonderer Begründung nach oben abgewichen werden könne, lässt sich aber - wie der Beschwerdeführer richtig festhält - nicht ausgehen.
3.3.
3.3.1. Einen weiteren Besuchstag hält das Obergericht für nicht angebracht, solange zwischen den Eltern kein vertieftes Einvernehmen bestehe (Urteil, S. 10 E. 3.2).
3.3.2. Seit den letzten Familienrechtsrevisionen sind die gemeinsame elterliche Sorgeund die alternierende Obhut nicht mehr nur einverständlich möglich, sondern können vielmehr auch gegen den Willen eines Elternteils angeordnet werden. Wenn sich die Eltern über das Sorgerecht und die Obhut streiten, wird kaum je ein "vertieftes Einvernehmen" zwischen ihnen bestehen, was das Obergericht aber für einen weiteren Besuchstag als Voraussetzung ansieht. Der weitere Besuchstag ist aber für das Kind von erheblich grösserer Bedeutung als die etwas abstrakten Fragen des Sorgerechts und der Obhut. Zu Recht bestreitet der Beschwerdeführer folglich das Bestehen eines solchen Erfordernisses. Entgegen der Auffassung der Beschwerdegegnerin in ihrer Vernehmlassung (S. 6, Ziff. 2.3, am Ende) kann folglich nicht massgeblich sein, ob die Mutter mit dem Besuchsrecht einverstanden ist oder nicht.
3.3.3. Das im vorliegenden Fall nicht auf die bisher gelebte Betreuung abgestellt werden kann, ist evident. Es liegt auch auf der Hand, dass der Vater keine Erfahrung mit dem Umgang eines Kleinkindes hat. Es handelt sich um sein erstes Kind, und es geht um die erstmalige Regelung des persönlichen Kontakts nach der Geburt des Kindes. Bei der Geburt des ersten Kindes fehlt in der Regel nicht nur dem Vater, sondern auch der Mutter jegliche Erfahrung bezüglich der Kleinkindbetreuung. Das kann folglich kein Grund sein, den persönlichen Kontakt einzuschränken, wie das Obergericht selber feststellt (Urteil, S. 10 E. 3.2). Das Obergericht erwähnt dann auch nur nebenbei, dass ein weiterer Besuchstag vorliegend bis jetzt nicht praktiziert wurde (Urteil, S. 10 E. 3.2). Es scheint daraus zu Recht auch nichts Konkretes schliessen zu wollen.
3.3.4. Das Obergericht hält der ersten Instanz vor, ihr Entscheid lasse eine altersmässige Abstufung vermissen, die insbesondere für das Ferienrecht naheliege (Urteil, S. 10 E. 3.2). Warum deshalb nur ein sehr eingeschränktes Besuchsrecht gewährt werden soll, ist indessen nicht nachvollziehbar. Dass je nach Alter des Kindes die Bedürfnisse und die Möglichkeiten der persönlichen Kontakte andere sind, liegt auf der Hand. Das folgt schon auf Grund des Stundenplanes der Schulen. Mit der Schulpflicht wird ein wesentlicher Teil der Kinderbetreuung während des Tages durch Dritte, nämlich die Schule übernommen, was den Tagesablauf des Kindes vollständig verändert. Zudem verändert sich auch das Zeitgefühl des Kindes und die Notwendigkeit von kurzen Besuchsintervallen, um die Kontinuität in der Beziehung zu gewährleisten. Gleichzeitig wirken sich aber auch Trennungszeiten mit zunehmendem Alter anders aus. Insofern sind Abstufungen sehr wohl sinnvoll. Sie sind aber nicht Selbstzweck. Vielmehr müssen objektive oder psychologische Gründe dargetan werden, warum mit einem bestimmten Alter eine Änderung angebracht ist.
Die erste Instanz hatte sehr wohl eine Abstufung vorgenommen, in dem sie vier Schritte vorsah. Diese waren allerdings nicht ausschliesslich durch das Alter des Kindes begründet, sondern dienten vielmehr einem allmählichen Aufbau der Beziehung. Das Obergericht hat mit seinem Entscheid diese vier Schritte durch sechs Stufen ersetzt, die länger dauern und restriktiver sind als die Regelung der ersten Instanz. Dem angefochtenen Entscheid ist allerdings für die Abstufung keine eigentliche Begründung zu entnehmen. Bezüglich der ersten fünf Stufen scheint es auch dem Obergericht nicht eigentlich um das Alter des Kindes zu gehen, sondern vielmehr um einen allmählichen Aufbau der Vater-Kind-Beziehung und um ein Eingewöhnen an die Besuche. Nur bezüglich der Ferien scheint das Obergericht der Meinung zu sein, dass ein Ferienbesuchsrecht generell erst mit der Schulpflicht zu gewähren sei. Eine solche Einschränkung lässt sich aber nicht begründen. Warum es das Obergericht nicht bei den Schritten gemäss dem erstinstanzlichen Urteil belässt, ist deshalb nicht einzusehen.
3.3.5. Schliesslich begründet das Obergericht die Gutheissung der Berufung damit, es sei aus dem erstinstanzlichen Entscheid nicht ersichtlich, wie ein weiterer regelmässiger Besuchstag praktisch handzuhaben wäre; der angefochtene Entscheid sei diesbezüglich nicht genügend konkretisiert (Urteil, S. 10 E. 3.2).
Eine fehlende Konkretisierung im erstinstanzlichen Entscheid stellt indessen keine Begründung dar, um einen weiteren Besuchstag zu verweigern. Vielmehr hätte das Obergericht diesfalls die Konkretisierung vornehmen müssen. Wie es im angefochtenen Entscheid ausdrücklich festhält (Urteil, S. 7 E. 2.1), gelten in Kinderbelangen im kantonalen Verfahren der Untersuchungs- und der Offizialgrundsatz (<ref-law>).Der Ausschluss von Noven im Beschwerdeverfahren (<ref-law>) gilt nicht bei Kinderbelangen (<ref-ruling> E. 4.2.1). Noven sind vielmehr bis zur Urteilsberatung zu berücksichtigen (vgl. <ref-law>; <ref-ruling> E. 2.2.6; Urteil 5A_790/2016 vom 9. August 2018E. 3.1). Wenn das Obergericht die Anordnung der ersten Instanz als zu wenig konkret ansah, hätte es entsprechend die notwendigen zusätzlichen Sachverhaltselemente erheben und die Konkretisierung vornehmen müssen. Die fehlende Konkretisierung kann aber nicht als Argument für die Verweigerung eines entsprechenden Besuchsrechts dienen.
3.4.
3.4.1. Es folgt somit, dass der Beschwerdeführer zu Recht dem Obergericht vorhält, ohne hinreichende Begründung die Anordnung der ersten Instanz aufgehoben zu haben. Es scheint allerdings fraglich, ob dies für eine Gutheissung der vorliegenden Beschwerde genügt. Wie ausgeführt, haben die kantonalen Instanzen bei der Regelung des persönlichen Verkehrs ein grosses Ermessen und das Bundesgericht übt eine gewisse Zurückhaltung bei der Überprüfung von Ermessensentscheiden (vgl. E. 2.3). Entsprechend besteht kein Grund, einen Entscheid einer kantonalen Rechtsmittelinstanz, der den erstinstanzlichen Entscheid abgeändert hat, aufzuheben, wenn sowohl die erste wie auch die zweite Instanz das Ermessen korrekt ausgeübt hat.
Vorliegend hat sich nun aber gezeigt, dass das Obergericht, wie der Beschwerdeführer richtig ausführt, von einem zu restriktiven Besuchsrecht als Regelfall ausgegangen ist und zudem den Umständen zu wenig Rechnung getragen hat, dass Kleinkinder von ihrem Zeitverständnis her sehr viel häufigere Besuchsrechte benötigen und für die Entwicklung einer nahen Vater-Kind-Beziehung auch sehr viel schneller Übernachtungen miteingeschlossen werden müssen. Insofern hat das Obergericht von seinem Ermessen nicht genügend bzw. falsch Gebrauch gemacht und damit Bundesrecht verletzt. Schliesslich hat es das Obergericht unterlassen, aus seiner möglicherweise richtigen Erkenntnis, dass das Besuchsrecht einer genaueren Regelung bedarf, den richtigen Schluss zu ziehen und dieses zu konkretisieren. Wie weit dies im vorliegenden Fall tatsächlich notwendig ist, vermag das Bundesgericht nicht zu beurteilen. Diesbezüglich fehlen jegliche Feststellungen im angefochtenen Urteil.
3.4.2. Die Beschwerde ist folglich grundsätzlich gutzuheissen, und der angefochtene Entscheid ist aufzuheben. Seit dem Entscheid der KESB ist allerdings ein Jahr verstrichen, und der Aufbau der Beziehung und Ausbau des Besuchsrechts war auf ein halbes Jahr angelegt. Dem Bundesgericht ist auch nicht bekannt, wie sich die Besuchssituation zwischenzeitlich entwickelt hat. Von daher ist es nicht möglich, den erstinstanzlichen Entscheid unverändert wiederherzustellen. Vielmehr ist die Sache an das Obergericht zurückzuweisen, und dieses hat im Sinne der Erwägungen und gegebenenfalls nach weiteren Sachverhaltsabklärungen neu zu entscheiden. Das Obergericht wird auch erneut über die Verlegung der Prozesskosten des kantonalen Verfahrens zu befinden haben.
4.
Selbst wenn der Ausgang des Verfahrens teilweise offen ist, gilt die Rückweisung zum erneuten Entscheid im Hinblick auf die Gerichtskosten und die Parteientschädigung als vollständiges Obsiegen der betreffenden Partei. Unerheblich bleibt, ob eine Rückweisung beantragt und ob das entsprechende Begehren im Haupt- oder Eventualantrag gestellt wurde (<ref-ruling> E. 11.1; Urteile 5A_902/2018 vom 14. August 2019 E. 5; 5A_899/2019 vom 17. Juni 2020E. 4.2). Unter diesen Umständen gilt der Beschwerdeführer als vollständig obsiegend, weshalb die Gerichtskosten der Beschwerdegegnerin aufzuerlegen sind (<ref-law>) und diese dem Beschwerdeführer die Parteikosten zu ersetzen hat (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Obergerichts des Kantons Aargau, Kammer für Kindes- und Erwachsenenschutz, vom 18. März 2020 aufgehoben. Die Sache wird im Sinne der Erwägungen zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Kammer für Kindes- und Erwachsenenschutz, schriftlich mitgeteilt.
Lausanne, 8. Dezember 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Die Gerichtsschreiberin: Scheiwiller