Faits :
A.
Par décision du 28 octobre 2019, la Justice de paix du district de Lavaux-Oron a refusé d'instaurer une curatelle au sens de l'art. 308 al. 1 et 2 CC en faveur de C._, né de la relation hors mariage entre A._ et B._. Elle a aussi maintenu l'autorité parentale conjointe, la garde de l'enfant étant attribuée à sa mère et un droit aux relations personnelles étant réservé à son père. Les parents ont été enjoints à entreprendre toutes les démarches nécessaires pour mettre en place dans les meilleurs délais un suivi pédopsychiatrique en faveur de leur enfant.
Chacun des parents a interjeté recours contre cette décision auprès de la Chambre des curatelles du Tribunal cantonal du canton de Vaud. Par réponse spontanée du 26 février 2020, B._ a conclu au rejet du recours de A._ et produit quatre pièces.
Statuant par arrêt du 4 mai 2020, la Chambre des curatelles a rejeté chacun des recours et confirmé la décision de la Justice de paix.
B.
Agissant par mémoire du 10 juin 2020, A._ exerce un recours en matière civile contre cette décision. Il conclut principalement à sa réforme en ce sens qu'une garde alternée - dont il décrit les modalités - est instaurée. Subsidiairement, il sollicite la réforme de l'arrêt entrepris en ce sens que son droit aux relations personnelles s'exercera du mercredi à midi à la sortie de l'école au jeudi soir à 20h et alternativement un week-end sur deux du vendredi soir à 18h au lundi matin à la rentrée scolaire, ainsi que durant la moitié des vacances scolaires, à charge pour lui d'aller chercher l'enfant là où il se trouve et de le ramener à cet endroit. Plus subsidiairement, il sollicite l'annulation de l'arrêt attaqué et le renvoi de la cause à l'autorité intimée pour complément d'instruction au sens des considérants.
Invitée à se déterminer, l'intimée a conclu au rejet du recours. L'autorité cantonale s'est référée aux considérants de son arrêt. Le recourant a répliqué. Dans le cadre de sa duplique, l'intimée a confirmé les conclusions prises dans sa réponse, sollicitant en outre que les frais et dépens fédéraux soient mis à la charge de l'autorité cantonale si par impossible, le recours devait être admis en raison d'une violation du droit à la réplique du recourant.
Considérant en droit :
1.
Introduit en temps utile (art. 100 al. 1 LTF) et dans la forme légale (art. 42 al. 1 LTF), le recours est dirigé contre une décision finale (art. 90 LTF) portant sur la modification de l'autorité parentale et de la répartition de la prise en charge d'un enfant né hors mariage, à savoir une affaire civile au sens de l'art. 72 al. 1 LTF (arrêt 5A_794/2017 du 7 février 2018 consid. 1 et les références), de nature non pécuniaire. La décision entreprise a été rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 LTF). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est recevable au regard des dispositions qui précèdent.
2.
Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Toutefois, compte tenu de l'obligation de motiver qui incombe au recourant en vertu de l'art. 42 al. 1 et 2 LTF, il n'examine pas toutes les questions juridiques qui peuvent se poser, mais seulement celles qui sont soulevées devant lui (ATF 142 III 364 consid. 2.4 et les références). En outre, le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si de tels griefs ont été invoqués et motivés par le recourant (" principe d'allégation "; art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (ATF 142 II 369 consid. 2.1; 142 III 364 consid. 2.4).
3.
Dans un grief de nature formelle qu'il convient d'examiner préalablement à l'argumentation sur le fond (ATF 141 V 557 consid. 3 et les références), le recourant se plaint de la violation de son droit d'être entendu (art. 29 al. 2 Cst.), singulièrement de son droit de répliquer,exposant que l'autorité cantonale ne lui a jamais communiqué la réponse spontanée introduite par l'intimée le 26 février 2020 ainsi que les quatre pièces qui y étaient annexées. Il n'aurait dès lors pas eu l'occasion de se déterminer sur ces écritures avant que la décision attaquée ne soit prise.
3.1. Compris comme l'un des aspects de la notion générale de procès équitable au sens de l'art. 29 Cst., le droit d'être entendu garantit notamment au justiciable le droit de s'expliquer avant qu'une décision ne soit prise à son détriment, d'avoir accès au dossier, de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, dans la mesure où il l'estime nécessaire, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre (ATF 142 III 48 consid. 4.1.1; 139 II 489 consid. 3.3; 139 I 189 consid. 3.2; 138 I 484 consid. 2.1; 138 I 154 consid. 2.3.3; 137 I 195 consid. 2.3.1). Il est du devoir du tribunal de garantir aux parties un droit effectif à la réplique dans chaque cas particulier. Même s'il renonce à ordonner un nouvel échange d'écritures (ATF 142 III 48 consid. 4.1.1 p. 53), le juge doit dès lors communiquer aux parties t oute prise de position ou pièce nouvelle versée au dossier, afin de leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (ATF 139 I 189 consid. 3.2 et les réfé rences).
3.2. En l'espèce, il ne ressort ni de l'arrêt entrepris, ni du dossier que la réponse spontanée de l'intimée du 26 février 2020 aurait été communiquée par l'autorité cantonale au recourant avant que la décision entreprise ne soit rendue. Peu importe que le conseil de l'intimée, ainsi que celle-ci l'affirme, ait adressé directement une copie de cette écriture à l'avocat du recourant à titre confraternel. Selon la jurisprudence, seule une transmission par le juge garantit en effet un droit de réplique effectif (arrêts 1B_485/2017 du 7 février 2018 consid. 3.2; 5A_262/2015 du 11 août 2015 consid. 3.2; 4A_612/2013 du 25 août 2014 consid. 6.4; 4A_660/2012 du 18 avril 2013 consid. 2.2). Dans ces circonstances, le droit d'être entendu du recourant, sous l'angle du droit à la réplique, a été violé.
4.
Vu ce qui précède, le recours est admis, la décision attaquée est annulée et la cause est renvoyée à l'autorité précédente pour nouvelle décision, après avoir permis au recourant d'exercer son droit à la réplique.
En procédure fédérale, les frais de justice et les dépens sont attribués sur la base des conclusions de la partie recourante contre le jugement attaqué, compte tenu de l'issue du procès, et donc indépendamment des conclusions de la partie intimée; même si celle-ci n'a pas procédé, elle ne saurait pour ce motif échapper aux frais et dépens de la procédure. Une exception à ce principe n'entre en ligne de compte que lorsque le recours est admis en raison d'une erreur de procédure particulièrement grave (Justizpanne), sans que l'intimé ne réponde du vice incriminé; pour que cette exception s'applique, il faut en outre que l'intimé ait conclu à l'admission du recours ou qu'il ait renoncé à se déterminer; s'il a conclu au rejet du recours, les frais et dépens seront mis à sa charge bien qu'il ne soit pas responsable du vice de procédure (arrêt 5A_107/2019 du 19 juin 2019 consid. 3 et les nombreuses références). En l'espèce, contrairement à ce que soutient l'intimée - qui a au demeurant conclu au rejet du recours - l'admission du recours ne résulte pas d'une erreur procédurale particulièrement grave. Dans ces circonstances, les frais et dépens de l'instance fédérale ne sauraient être mis à la charge du canton de Vaud, mais incombent à l'intimée, qui succombe dans ses conclusions (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière civile est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant une indemnité de 2'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux participants à la procédure et à la Chambre des curatelles du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 janvier 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo