Faits :
A.
A.a. B._ (1970) et A._ (1975) sont les parents hors mariage de C._, né en 2011. B._ est également la mère de D._, née en 2000. Elle a mis un terme à sa relation avec A._ en automne 2013 et ce dernier a quitté le domicile en juin 2014; il a alors admis avoir commis des actes d'ordre sexuel sur D._ quand elle avait 12 ans (avoir passé la main sur ses seins par-dessus les habits, à 15 ou 20 reprises), faits pour lesquels il a été condamné le 27 novembre 2014.
A.b. Les parties ont conclu une convention d'entretien en faveur de leur fils le 26 janvier 2012, ratifiée par l'autorité tutélaire le même jour. S'agissant de l'autorité parentale, elles n'ont pas dérogé au régime légal alors applicable, de sorte qu'elle était exercée par la mère seule.
B.
B.a. Par mémoire du 10 décembre 2015, A._ a requis, notamment, la mise en place d'une autorité parentale conjointe. B._ s'y est opposée le 14 mars 2016.
B.b. Lors d'une séance du 28 avril 2016 devant la Justice de paix de l'arrondissement de la Veveyse (ci-après: la Justice de paix), les parties ont réglé le droit de visite du père. Aucun accord n'a pu en revanche être trouvé s'agissant de l'autorité parentale.
B.c. Par décision du 28 avril 2016, la Justice de paix a attribué l'autorité parentale aux deux parents conjointement, considérant que la dissolution de la communauté domestique en 2014 constituait un fait nouveau important pouvant entraîner la modification de la réglementation antérieure de l'autorité parentale. Elle a par ailleurs approuvé la convention passée en audience entre les parties au sujet notamment du droit de visite du père.
B.d. Par mémoire du 25 août 2016, B._ a interjeté recours contre cette décision et a conclu, avec suite de frais, au rejet de la requête d'autorité parentale conjointe et à ce qu'elle en demeure seule titulaire. A._ a conclu au rejet du recours le 11 octobre 2016.
B.e. Par arrêt du 15 décembre 2016, la Cour de protection de l'enfant et de l'adulte du Tribunal cantonal de l'Etat de Fribourg a admis le recours et a réformé la décision entreprise en ce sens que la requête de A._ d'être mis au bénéfice de l'autorité parentale conjointe sur son fils C._ est rejetée et que, partant, l'autorité parentale reste attribuée à sa mère.
C.
Par acte posté le 16 janvier 2017, A._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 15 décembre 2016. Il conclut à son annulation et à sa réforme en ce sens que le recours de B._ est rejeté, que la décision rendue par la Justice de paix le 28 avril 2016 est intégralement confirmée, que les frais de procédure de recours sont mis à la charge de B._ et qu'une indemnité globale de 1'587 fr. 60 à titre de dépens, TVA de 117 fr. 60 comprise, est mise en sa faveur à la charge de B._. Subsidiairement, il sollicite le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
B._ propose le rejet du recours. Elle sollicite en outre d'être mise au bénéfice de l'assistance judiciaire pour la procédure fédérale. La cour cantonale a renoncé à formuler des observations.

Considérant en droit :
1.
L'arrêt entrepris, qui statue sur l'attribution de l'autorité parentale sur un enfant né hors mariage, est une décision prise en application de normes de droit public dans une matière connexe au droit civil, à savoir en matière de protection de l'enfant (art. 72 al. 2 let. b ch. 6 LTF). La question soumise au Tribunal fédéral est de nature non pécuniaire, de sorte que le recours est ouvert indépendamment de la valeur litigieuse. Par ailleurs, le recours a été interjeté dans le délai (art. 46 al. 1 let. c et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi, par une partie ayant pris part à la procédure devant l'autorité précédente et justifiant d'un intérêt digne de protection à la modification ou à l'annulation de la décision attaquée (<ref-law>), contre une décision finale (<ref-law>), rendue sur recours par une autorité supérieure (art. 75 al. 1 et 2 LTF). Le recours en matière civile est donc en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.4). L'<ref-law> exige par ailleurs que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2). En outre, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3.3; <ref-ruling> consid. 1.2, 397 consid. 1.4 in fine), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (ATF <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.4.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3; <ref-ruling> consid. 10.1 et les arrêts cités).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); il ne peut s'en écarter que si ces faits ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influencer le sort de la cause (<ref-law>). La partie recourante qui soutient que les faits ont été établis d'une manière manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3; <ref-ruling> consid. 1.2), doit démontrer, par une argumentation précise, en quoi consiste la violation (<ref-law>; ATF <ref-ruling> consid. 3.3; <ref-ruling> consid. 2.2).
En l'espèce, le " résumé des faits et du déroulement de la procédure " que le recourant croit utile de faire aux pages 4 à 6 de son recours sera ignoré en tant que les faits exposés ne sont pas expressément visés par le grief examiné ci-après, s'écartent de ceux contenus dans l'arrêt attaqué et que le recourant n'invoque, ni a fortiori ne démontre, leur établissement arbitraire ou que leur correction influerait sur le sort de la cause.
A l'appui de son grief d'établissement manifestement inexact des faits, le recourant reproche à la cour cantonale d'avoir retenu que l'intimée avait mis fin à leur relation en automne 2013. Selon lui, cette constatation de fait était en contradiction flagrante avec les pièces du dossier et ne reposait sur aucun moyen de preuve. Elle était susceptible d'avoir une incidence sur l'issue de la cause, dès lors qu'il s'agit de déterminer si cette séparation constitue un fait nouveau pouvant justifier une modification de l'autorité parentale conjointe et dans la mesure où les circonstances de cet événement peuvent être pertinentes à cet égard. Il y avait ainsi lieu de rectifier l'état de fait de l'arrêt entrepris en retenant que la séparation des parties était intervenue au mois de juin 2014. L'on ne saurait aller dans le sens voulu par le recourant en tant qu'il n'apparaît nullement que la référence à l'automne 2013 ait une quelconque influence sur l'issue de la cause. La séparation est en effet, quoi qu'il en soit de sa date exacte, antérieure au 30 juin 2015, date à partir de laquelle le parent qui en est privé doit établir l'existence de faits nouveaux pour obtenir l'autorité parentale conjointe (cf. infra consid. 3.2 et 4.4.2). Le grief doit ainsi être rejeté.
3.
3.1. Le recourant fait valoir une violation de la maxime inquisitoire (<ref-law>) et de son droit d'être entendu (art. 29 al. 2 Cst., 447 al. 1 CC et 53 CPC).
Il reproche à la cour cantonale d'avoir, contrairement à l'autorité de première instance et sans avoir mené une quelconque instruction sur ce point, nié le fait que les parties prenaient ensemble les décisions concernant C._ durant leur vie commune et que leur séparation l'empêchait désormais d'exercer ces prérogatives. En ne retenant pas l'existence d'une participation et d'une responsabilité commune des parties quant aux décisions concernant C._ avant la séparation, les juges précédents avaient en outre remis en question de façon inattendue l'état de fait retenu en première instance sur ce point, sans que celui-ci n'ait fait l'objet du moindre grief émanant de l'une ou l'autre des parties, en particulier par la mère dans son recours du 28 avril 2016 et durant la suite de la procédure de recours. L'arrêt entrepris avait ainsi violé le droit d'être entendu des parties en les privant de la possibilité de s'exprimer sur un élément de fait qui avait été jugé déterminant pour l'issue de la cause.
3.2. Le recourant se méprend lorsqu'il considère que le point de savoir si les parties partageaient ou non les responsabilités parentales durant leur vie commune est de nature à modifier l'issue de la présente cause. Le partage des responsabilités parentales durant la vie commune ne s'avère en effet pertinent que pour autant que la séparation dont se prévaut le recourant puisse être qualifiée de fait nouveau au sens de l'<ref-law>. Or, en l'espèce, dès lors qu'il est constant que la séparation est antérieure au 30 juin 2015 (échéance du délai d'une année de l'<ref-law>), tel ne saurait être le cas (cf. infra consid. 4.4.2). L'on ne voit dès lors pas qu'il s'agissait là d'une question qui aurait dû faire l'objet d'une instruction de la part de la cour cantonale. Quoi qu'il en soit, par son argumentation toute générale, le recourant ne démontre pas à satisfaction en quoi la violation du droit d'être entendu dont il se prévaut a pu être importante pour le sort de sa cause. Dans ces conditions, autant que recevable, le grief ne peut qu'être rejeté (cf. arrêt 4A_453/2016 du 16 février 2017 consid. 4.2.3 et 4.2.4).
4.
Le recourant invoque la violation des <ref-law> et 12 al. 4 Tit. fin. CC.
4.1. L'<ref-law> dispose que si l'autorité parentale n'appartient qu'à l'un des parents lors de l'entrée en vigueur de la modification du 21 juin 2013 (RO 2014 357), l'autre parent peut, dans le délai d'une année à compter de l'entrée en vigueur du nouveau droit - soit jusqu'au 30 juin 2015 (AFFOLTER-FRINGELI/VOGEL, Berner Kommentar, 2016, n° 51 ad <ref-law>; MEIER/STETTLER, Droit de la filiation, 5ème éd. 2014, n° 523 p. 352) -, s'adresser à l'autorité compétente pour lui demander de prononcer l'autorité parentale conjointe. L'<ref-law> est applicable par analogie.
Au-delà de ce délai et faute d'accord du parent titulaire de l'autorité parentale (<ref-law>), le parent concerné devra se fonder sur des faits nouveaux importants au sens de l'<ref-law> pour requérir l'autorité parentale conjointe (AFFOLTER-FRINGELI/VOGEL, op. cit., n° 52 ad <ref-law> et n° 9 ad <ref-law> et les références; MEIER/STETTLER, op. cit., n° 523 p. 353).
4.2. En application de l'<ref-law>, en vigueur depuis le 1er juillet 2014 (RO 2014 357) - dont la teneur est similaire à celle de l'<ref-law> (cf. AFFOLTER-FRINGELI/VOGEL, op. cit., n° 4 ad <ref-law>; MEIER/STETTLER, op. cit., n° 528 p. 358) -, l'autorité de protection modifie l'attribution de l'autorité parentale, à la requête de l'un des parents, de l'enfant, ou encore d'office, lorsque des faits nouveaux importants le commandent pour le bien de l'enfant (<ref-law>).
La modification de l'attribution de l'autorité parentale ou de l'une de ses composantes est subordonnée à deux conditions, soit, d'une part, des faits nouveaux et, d'autre part, que la modification intervienne pour le bien de l'enfant (AFFOLTER-FRINGELI/VOGEL, op. cit., nos 5 ss ad <ref-law>; SCHWENZER/COTTIER, Basler Kommentar, ZGB I, 5ème éd., 2014, n° 2 ad <ref-law>). Même si l'instauration d'une autorité parentale conjointe en lieu et place d'une autorité parentale exclusive ne devrait pas dépendre de critères d'appréciation trop stricts, le parent privé jusque-là de l'autorité parentale qui agit en ce sens après l'échéance du délai d'une année de l'<ref-law> doit établir l'existence de faits nouveaux et importants qui commandent pour le bien de l'enfant qu'il soit renoncé au maintien d'une autorité parentale exclusive (AFFOLTER-FRINGELI/VOGEL, op. cit., n° 9 ad <ref-law>).
Savoir si une modification essentielle est survenue doit s'apprécier en fonction de toutes les circonstances du cas d'espèce et relève du pouvoir d'appréciation de l'autorité de protection (AFFOLTER-FRINGELI/VOGEL, op. cit., nos 5 s. ad <ref-law>; SCHWENZER/COTTIER, loc. cit.; cf. ég. arrêt 5C.32/2007 du 10 mai 2007 consid. 4.1, publié in FamPra.ch 2007 p. 946 [concernant l'<ref-law>]). Le Tribunal fédéral s'impose dès lors une certaine retenue en la matière. Il n'intervient que si l'autorité cantonale a pris en considération des éléments qui ne jouent aucun rôle au sens de la loi ou a omis de tenir compte de facteurs essentiels (<ref-ruling> consid. 4.4.5; <ref-ruling> consid. 2.1.1).
4.3. En l'espèce, la cour cantonale a considéré que la rupture survenue en juin 2014, voire déjà en automne 2013 - cela importait peu -, ne pouvait être qualifiée de fait nouveau justifiant une modification de l'attribution de l'autorité parentale en avril 2016 à la suite d'une demande déposée en décembre 2015. La séparation était en effet bien antérieure au 30 juin 2015. Le père n'avait au demeurant pas soutenu au cours de la procédure de première instance que la séparation du couple justifiait une réglementation différente de l'autorité parentale. Il n'avait par ailleurs jamais expliqué pourquoi il n'avait pas agi dans le délai d'une année de l'<ref-law>. Ni sa requête du 10 décembre 2015, où il se limitait à se référer improprement à l'<ref-law>, ni ses déclarations lors de la séance de la Justice de paix du 28 avril 2016, ne renseignaient sur le fait justifiant, à ses yeux, une application de l'<ref-law>. Or, c'était le moins qu'on pouvait attendre de lui et si, en vertu de la maxime inquisitoire applicable, la Justice de paix n'avait pas à limiter son examen aux seuls faits qu'il avait invoqués, elle ne pouvait purement et simplement faire abstraction de cette lacune.
Selon les juges précédents, la fin du concubinage ne constituait, quoi qu'il en soit, pas un fait nouveau important commandant l'attribution de l'autorité parentale conjointe, celle-ci étant exceptionnelle lorsque le délai de l'<ref-law> n'avait pas été utilisé. La dissolution d'une relation de concubinage constituait plutôt un motif d'attribution exclusive de l'autorité parentale en présence d'un conflit sérieux et durable entre les parents ou d'une incapacité persistante à communiquer l'un avec l'autre, à condition que cela ait des conséquences négatives sur l'enfant et qu'une attribution de l'autorité parentale exclusive apparaisse susceptible d'apaiser la situation.
Le père s'était prévalu pour la première fois dans sa réponse du 11 octobre 2016 d'autres faits nouveaux, postérieurs à la séparation, à savoir qu'il s'était marié et qu'il était devenu père d'un deuxième enfant. L'on peinait toutefois à discerner en quoi ces faits seraient pertinents dans l'examen de l'attribution de l'autorité parentale sur C._. Du reste, il ne l'avait pas expliqué. Il s'était contenté d'indiquer qu'il tentait d'intégrer son fils dans sa nouvelle famille. Ce n'était toutefois pas l'exercice de l'autorité parentale conjointe sur C._ qui lui permettrait d'atteindre ce but, qui relevait plutôt du bon exercice des relations personnelles. Or, en l'espèce, les parties avaient convenu, lors de la séance de la Justice de paix du 28 avril 2016, d'un droit de visite élargi en faveur du père sur son fils. Cela lui permettrait de consolider ses liens avec C._ et l'instauration de l'autorité parentale conjointe n'était d'aucune utilité dans ce contexte.
L'absence de fait nouveau important justifiant l'attribution de l'autorité parentale conjointe pour le bien de l'enfant au sens de l'<ref-law> conduisait ainsi à l'admission du recours de la mère et à la réforme de la décision attaquée en ce sens que la requête d'autorité parentale conjointe est rejetée, l'autorité parentale restant attribuée à la mère.
4.4.
4.4.1. Le recourant fait grief à la cour cantonale d'avoir considéré que la séparation, soit la dissolution d'un concubinage, ne pouvait en l'espèce constituer un fait nouveau au motif qu'elle était antérieure au délai du droit transitoire échéant le 30 juin 2015. Selon le recourant, il ne serait possible de refuser de qualifier de nouveaux des faits survenus avant cette date que pour autant que ceux-ci aient déjà été pris en compte par l'autorité de protection pour rejeter une demande tendant à l'instauration d'une autorité parentale conjointe déposée antérieurement au 30 juin 2015. Or, rien de tel en l'occurrence.
4.4.2. Le recourant ne saurait être suivi. Pour les enfants nés avant le 1er juillet 2014, la nouveauté du fait justifiant une modification de l'autorité parentale s'apprécie en fonction de l'échéance du délai d'une année prévu à l'<ref-law> (cf. supra consid. 4.1). Or, en l'espèce, il est constant que la séparation des parties est antérieure au 30 juin 2015. En niant le caractère nouveau de celle-ci, les juges précédents n'ont donc pas violé le droit fédéral et c'est à bon droit qu'ils ont considéré que l'une des conditions posées par l'<ref-law> (cf. supra consid. 4.2) n'était en l'espèce pas remplie pour obtenir l'instauration d'une autorité parentale conjointe. Ce résultat dispense d'examiner les autres motifs retenus par la cour cantonale en lien avec la séparation des parties, que le recourant critique également. Il rend également inutile l'examen des arguments du recourant en lien avec la préservation du bien de l'enfant.
4.5. Reste à savoir si le mariage du recourant et la naissance de sa fille - dont il n'est pas contesté qu'ils sont intervenus après le 30 juin 2015 - peuvent constituer des faits nouveaux importants commandant, dans l'intérêt de C._, le passage à une autorité parentale conjointe.
4.5.1. Le recourant reproche à la cour cantonale d'avoir considéré que sa nouvelle situation personnelle n'était pas pertinente et que les relations personnelles permettraient à elles seules d'intégrer C._ dans sa nouvelle famille. Il était tout à fait " possible " que la naissance de la demi-soeur de C._ et l'intégration de celui-ci dans sa nouvelle famille posent des difficultés qui ne peuvent être résolues par le simple exercice des relations personnelles et nécessitent une prise de décision ressortissant à l'autorité parentale sur C._. Il ne s'agissait pas de régler de simples difficultés envisageables à l'occasion des visites, comme l'avait à tort retenu la cour cantonale, mais de tenir compte de " l'évolution nette et rapide de sa situation personnelle, avec en particulier la naissance d'un nouvel enfant ", laquelle " pourrait perturber le développement de [C._], du moins temporairement ". Sous l'angle du bien de l'enfant, il n'était pas concevable que le parent non directement concerné par l'origine de la problématique doive prendre seul des décisions ou que le parent directement concerné doive attendre la survenance de telles difficultés pour ensuite requérir l'instauration de l'autorité parentale conjointe. Toujours à l'aune du bien de l'enfant, le recourant expose encore que les faits nouveaux considérés étaient importants en ce sens que l'évolution de sa situation personnelle était utile à l'examen de ses capacités éducatives, que C._ connaissait une évolution positive et que la présence de son épouse améliorait la communication entre les parties.
4.5.2. Une telle argumentation ne convainc pas. On ne discerne en effet pas en quoi la volonté manifestée par le recourant d'intégrer au mieux C._ dans sa nouvelle famille constituerait un changement de circonstances qui justifierait une modification de l'attribution de l'autorité parentale. On ne voit pas non plus - et le recourant ne l'explicite pas - quelles décisions relevant des prérogatives liées à l'autorité parentale il devrait être amené à prendre lors de l'exercice de son droit de visite. A cet égard, la motivation de l'arrêt attaqué ne prête aucunement le flanc à la critique et on peut s'y référer. Pour le surplus, le recourant ne démontre pas que le bien de l'enfant serait actuellement compromis par l'autorité parentale exclusive de la mère ni que l'intérêt de l'enfant serait concrètement mieux préservé en cas de passage à une autorité parentale conjointe. Il n'est en particulier pas allégué que l'intimée ne protégerait pas l'enfant dans sa santé, sa sécurité ou dans les conditions de son éducation, respectivement que par son action ou son inaction, elle mettrait en danger le développement psychologique ou éducatif de l'enfant. Il sera au demeurant rappelé que le parent non détenteur de l'autorité parentale doit être informé de modifications du lieu de résidence de l'enfant (<ref-law>), de même qu'il doit être informé et entendu avant la prise de décisions importantes pour le développement de l'enfant (<ref-law>).
Il suit de là que le moyen est mal fondé. Point n'est ainsi besoin d'examiner les autres arguments du recourant, qui se résument en définitive en des considérations générales sur l'interprétation large de l'<ref-law> qu'il conviendrait de privilégier en présence d'une demande de modification de l'attribution de l'autorité parentale dans le sens d'une attribution de l'autorité parentale conjointe en lieu et place d'une autorité parentale exclusive.
5.
En définitive, le recours est rejeté dans la mesure de sa recevabilité. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant qui succombe (<ref-law>). L'intimée a droit à une indemnité de dépens, mise à la charge du recourant (art. 68 al. 1 et 2 LTF); sa requête d'assistance judiciaire devient par conséquent sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Une indemnité de 2'000 fr., à payer à l'intimée à titre de dépens, est mise à la charge du recourant.
4.
La requête d'assistance judiciaire de l'intimée est sans objet.
5.
Le présent arrêt est communiqué aux parties et à la Cour de protection de l'enfant et de l'adulte du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 30 mai 2017
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Hildbrand