Faits : A. B._ (née en 1989) et A._ (né en 1981) sont les parents hors mariage de C._, né en 2014. Ils sont tous deux titulaires de l'autorité parentale sur l'enfant. B. B.a. Le 15 septembre 2016, suite à une dispute du couple s'étant produite la veille dans la soirée et ayant nécessité l'intervention de la police, B._ a sollicité l'intervention de la Justice de paix de l'arrondissement de la Veveyse (ci-après: Justice de paix). Par décision de mesures superprovisionnelles du même jour, la Juge de paix a attribué la garde de C._ à sa mère, tout en refusant d'accorder un droit de visite au père de l'enfant. Elle a également fixé une séance au 22 septembre 2016 en vue d'entendre les parties. Dans le même délai, elle a invité A._ à se déterminer sur le retrait de la garde, respectivement le refus de lui accorder un droit de visite. A._ a déclaré ne pas s'opposer à ce que la garde de l'enfant soit attribuée à la mère. Exposant ne pas comprendre la position de son ex-compagne selon laquelle il ne devrait être autorisé à voir leur fils pendant la journée exclusivement dans un premier temps, il a sollicité la mise en place d'un droit de visite usuel en sa faveur. Enfin, il s'est dit ouvert à la mise en place d'une médiation entre les parents. B.b. Par décision du 22 septembre 2016, la Justice de paix a pris acte de l'accord intervenu en séance entre les parties concernant la garde de leur enfant et, partant, a confié celle-ci à la mère (ch. I). En outre, un droit de visite usuel a été instauré en faveur du père, s'exerçant à raison d'un week-end sur deux, du vendredi soir à 18h au dimanche soir à 18h, de deux semaines pendant les vacances d'été, d'une semaine à Noël et d'une semaine à choix pendant les autres vacances scolaires, les fêtes de Pâques et Noël étant passées alternativement chez l'un ou l'autre parent (ch. II). Pour le surplus, la Justice de paix a exhorté les parties à entreprendre une médiation familiale - aux fins de favoriser leur communication en rapport avec l'intérêt de l'enfant - auprès de D._, médiatrice familiale ASMF, avec laquelle ils prendront contact (ch. III). C. C.a. Le 14 novembre 2016, B._ a interjeté un recours contre cette décision devant la Cour de protection de l'enfant et de l'adulte du Tribunal cantonal de l'Etat de Fribourg (ci-après: Cour de protection). Elle s'en est prise exclusivement au chiffre II du dispositif de la décision attaquée. A titre principal, elle a conclu à sa réforme en ce sens qu'aucun droit de visite n'est accordé au père de l'enfant. A titre subsidiaire, elle a conclu à l'annulation de ce chiffre, respectivement au renvoi de la cause à l'autorité de protection pour nouvelle décision dans le sens des considérants. A._ a déposé sa réponse le 23 décembre 2016. Sur le fond, il a conclu au rejet du recours. C.b. Par ordonnance du 27 décembre 2016, le Juge délégué de la Cour de protection a rejeté la requête de retrait de l'effet suspensif présentée par A._. Par la même occasion, il a invité les parties à faire part à la Cour de protection de leurs propositions eu égard à la possibilité de mettre en place un droit de visite en présence d'une personne de confiance, motifs pris que d'après un examen prima facie du dossier, une suppression totale du droit aux relations personnelles du père sur l'enfant paraissait d'emblée disproportionnée. A._ s'est déterminé le 3 janvier 2017. Tout en réaffirmant qu'il concluait au rejet du recours, il s'est dit favorable, en cas d'admission partielle de ce dernier, à l'exercice de son droit de visite en présence de la mère de l'enfant. B._ s'est, quant à elle, déterminée le 5 janvier 2017. Elle a indiqué toujours s'opposer fermement à la mise en place d'un quelconque droit de visite en faveur du père, relevant que celui-ci s'était vu condamné pour voies de fait, injure, utilisation abusive d'une installation de télécommunication, menaces et calomnie - infractions commises à son préjudice notamment - par ordonnance pénale du Ministère public du 16 décembre 2016, de sorte que, si un droit de visite venait malgré tout à être mis en place, il ne pourrait avoir lieu qu'au Point Rencontre. Le 19 janvier 2017, elle a déposé une détermination spontanée. Tout en invitant la Cour de protection à prendre note de son nouveau domicile, elle a fait état du comportement harcelant et menaçant de son ex-concubin. C.c. Par arrêt du 3 février 2017, la Cour de protection a partiellement admis le recours et a réformé le dispositif de la décision rendue par la Justice de paix le 22 septembre 2016 comme suit: " I. Inchangé. II. Le droit aux relations personnelles entre A._ et son fils C._ s'exercera jusqu'à nouvel avis au Point Rencontre. III. Inchangé. IV. Inchangé. V. Une curatelle de surveillance des relations personnelles, au sens de l'art. 308 al. 2 CC, est instaurée en faveur de C._, à charge pour la Justice de paix de nommer un curateur. VI. Le curateur est invité à proposer à la Justice de paix les modalités qu'il jugera opportunes concernant le droit de visite du père, cela en fonction de l'évolution de la situation. A ce propos, il adressera un premier rapport d'ici au 31 mars 2017. " D. Par acte posté le 7 mars 2017, A._ exerce un recours " en matière de droit civil " (recte: en matière civile) au Tribunal fédéral contre l'arrêt du 3 février 2017, avec requête d'effet suspensif. Il conclut à la réforme de l'arrêt entrepris en ce sens qu'un droit de visite usuel sur l'enfant C._ est instauré en sa faveur, lequel s'exercera à raison d'un week-end sur deux, du vendredi soir à 18h au dimanche soir à 18h, et de deux semaines pendant les vacances d'été, d'une semaine à Noël et d'une semaine à choix pendant les autres vacances scolaires, les fêtes de Pâques et de Noël étant passées alternativement chez l'un ou l'autre parent. Invitée à se déterminer, B._ conclut au rejet du recours. Elle sollicite en outre d'être mise au bénéfice de l'assistance judiciaire pour la procédure fédérale. Elle produit une pièce nouvelle, soit le courrier adressé aux parties le 3 mai 2017 par la curatrice nommée le 23 mars 2017 par la Justice de paix, relativement aux modalités d'exercice du droit de visite au Point Rencontre Fribourg. La cour cantonale se réfère aux considérants de son arrêt. Par courrier de son conseil du 29 mai 2017, A._ a indiqué qu'il n'avait pas d'observations supplémentaires à formuler et qu'il se référait intégralement à son acte de recours. E. Par ordonnance présidentielle du 29 mars 2017, la requête d'effet suspensif assortissant le recours a été rejetée.