Faits:
A.
C._ est la mère de l'enfant A._, né hors mariage le 10 octobre 2003 de sa relation avec B._. Les parents se sont séparés peu après la naissance de l'enfant, au mois de décembre 2003. L'enfant A._ est demeuré auprès de C._, laquelle est également la mère de trois autres enfants de deux autres relations; deux sont majeurs et une fille est née en 2008. Le père vit depuis 2010 en ménage avec son amie et le fils de celle-ci, E._, né en 2001.
A.a. A la suite d'un rapport du 6 juin 2008 du centre médico-subrégional de H._ soulignant notamment la situation précaire de C._, la Chambre pupillaire de I._ a cité celle-ci à comparaître le 28 juillet 2008. Lors de cette audience, C._ a accepté sa mise sous tutelle au sens de l'art. 372 aCC. Le 4 août 2008, la Chambre pupillaire de I._ a désigné G._ en qualité de tutrice de la mère. Le 19 décembre 2008, elle a mandaté cette même personne pour assurer la tutelle des deux enfants mineurs de C._, en raison de son interdiction.
A.b. Le 12 mars 2012, C._ et B._ ont conclu une convention instaurant la garde partagée de l'enfant A._ et rappelant que la mère était placée sous tutelle, partant, elle ne bénéficiait pas de l'autorité parentale. La Chambre pupillaire du district de H._ a homologué cette convention le 29 mars 2012.
A.c. Le lundi 4 février 2013, C._ a dénoncé à la police cantonale de prétendus actes d'ordre sexuel commis par l'enfant E._ sur son fils A._. Les investigations menées ont révélé que les faits s'étaient vraisemblablement produits avant le printemps 2010. Dès lors que l'enfant E._ n'était pas âgé de dix ans au moment des faits et que la différence d'âge entre les protagonistes ne dépassait pas trois ans, la juge des mineurs a rendu une ordonnance de non-entrée en matière le 15 mai 2013, mais elle a avisé l'autorité de protection de l'enfant et de l'adulte du district de H._ (ci-après : APEA) " afin que les mesures adéquates puissent être prises sur le plan civil ".
Le 14 février 2013, l'APEA, a tenu une audience au cours de laquelle le père a accepté, avec sa compagne, que l'enfant E._ séjourne chez sa grand-mère lorsque A._ se trouvait chez eux.
Dans un rapport du 18 juin 2013, l'intervenante en protection de l'enfant a relevé que C._ se trouvait en arrêt maladie et suivie sur le plan psychologique et a exposé que le système de la garde alternée n'était pas adéquat, partant, qu'elle préconisait le placement de l'enfant dès le mois d'août 2013, bien que les deux parents y soient opposés.
Dans un courrier du 12 juillet 2013, l'avocat du père a indiqué que la dénonciation pénale de la mère visait à mettre un terme au système de garde alternée et que son client entendait surveiller les enfants de manière accrue. La mandataire du père a également demandé qu'un "tuteur neutre" soit nommé à l'enfant.
La Présidente de l'APEA a entendu l'enfant A._ le 24 juillet 2013, de manière confidentielle.
B.
Le 25 juillet 2013, l'APEA a tenu une audience en présence des père et mère, de la tutrice de la mère et de l'enfant, G._, ainsi que de l'intervenante en protection de l'enfant. Cette dernière a exposé que la garde alternée devait être réévaluée à la suite de la procédure pénale et a confirmé le contenu de son rapport, partant, qu'elle maintenait sa proposition de placement de l'enfant, nonobstant l'opposition de deux parents.
B.a. Par décision de mesures provisionnelles du 25 juillet 2013, l'APEA a notamment retiré la garde de l'enfant A._ aux père et mère, et confié sa garde à l'Office pour la protection de l'enfant (ci-après : OPE), avec le pouvoir de le placer dans un lieu approprié à son bien-être.
Par décision du même jour, l'APEA a relevé G._ de ses fonctions de tutrice de l'enfant A._ et a nommé une nouvelle tutrice à l'enfant au sens des art. 327a à 327c CC.
Les deux décisions de l'APEA ont été notifiées le 12 août 2013 notamment à G._, au père et à la mère, pour celle-ci par sa curatrice.
B.b. Le 23 août 2013, le père a recouru contre la décision du 25 juillet 2013 plaçant son fils en institution, concluant principalement à ce que la garde sur son fils lui soit provisoirement accordée, subsidiairement à ce que l'APEA soit invitée à statuer à nouveau après complément d'instruction.
Par lettre du 28 août 2013, adressée à C._ et l'APEA, le Juge de la IIe Cour civile du Tribunal cantonal du canton du Valais a invité celles-ci à se déterminer sur le recours du père dans un délai de dix jours dès réception du courrier.
Par courrier du 2 septembre 2013, G._ et la nouvelle tutrice de l'enfant ont été informées par la Présidente de l'APEA que le père avait déposé un recours contre la décision du 25 juillet 2013 concernant le retrait du droit de garde de l'enfant.
Par courrier du 5 septembre 2013, l'APEA a renoncé à déposer des observations. Le 10 septembre 2013, le greffe du Tribunal cantonal a reçu en retour le pli judiciaire adressé le 28 août 2013 à la mère de l'enfant, avec la mention "non réclamé". L'invitation à déposer des déterminations sur le recours a été renvoyée le même jour à C._ et en copie à sa curatrice, étant précisé que la notification était réputée survenue à l'expiration du délai de sept jours à compter de l'échec de la remise du pli.
B.c. Par arrêt du 16 septembre 2013, le Juge de la IIe Cour civile du Tribunal cantonal du canton du Valais a admis le recours et modifié la décision du 25 juillet 2013 en ce sens que la garde de l'enfant est attribuée au père. Cet arrêt a été notifié le 16 septembre 2013 par pli recommandé à la mandataire du père, à la mère et à l'autorité de première instance.
Par lettre du 20 septembre 2013, le Juge de la IIe Cour civile a fait parvenir un exemplaire de son arrêt à la curatrice de la mère, G._, et à la nouvelle tutrice de l'enfant.
C.
Par acte du 18 octobre 2013, C._ exerce un recours en matière civile au Tribunal fédéral. Elle conclut principalement à l'annulation de l'arrêt entrepris, subsidiairement au renvoi de la cause à l'autorité précédente. Au préalable, la recourante sollicite l'octroi de l'effet suspensif à son recours et requiert le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Invités à se déterminer sur la requête d'effet suspensif, l'intimé a conclu au rejet de la requête, l'autorité précédente s'est prononcée sur le fond du recours dans une lettre du 25 octobre 2013 et l'APEA s'est référée au dossier de la cause.
D.
Par ordonnance du 8 novembre 2013, le Président de la IIe Cour de droit civil du Tribunal fédéral a octroyé l'effet suspensif au recours.
Invité à déposer des observations sur le recours, le père a, par mémoire de réponse du 13 janvier 2014, auquel il a joint un onglet de pièces, conclu en substance à l'irrecevabilité du recours, subsidiairement à son rejet. L'autorité cantonale s'est quant à elle référée aux observations qu'elle avait déposées le 25 octobre 2013 et l'APEA a renoncé à se déterminer.

Considérant en droit:
1.
L'arrêt entrepris, qui a pour objet l'attribution de la garde de l'enfant de parents non mariés, est une décision prise en application de normes de droit public dans une matière connexe au droit civil (art. 72 al. 2 let. b ch. 6 LTF; arrêts 5A_939/2012 du 8 mars 2013 consid. 1.1; 5A_701/2011 du 12 mars 2012 consid. 1.1). De jurisprudence constante, il est admis que la décision querellée, qui est de nature incidente et ne peut dès lors être attaquée devant le Tribunal fédéral qu'aux conditions de l'<ref-law> (<ref-ruling> consid. 1.3 p. 127), est susceptible de causer un dommage irréparable (<ref-law>), puisque le retrait de la garde et le placement de l'enfant sont arrêtés pour la durée de la procédure. Même si la recourante obtient finalement gain de cause au fond, la situation ne pourrait plus être modifiée pour ce laps de temps (<ref-ruling> consid. 1 p. 477 et les références; arrêt 5A_263/2013 du 13 août 2013 consid. 1.1). Comme la question soumise au Tribunal fédéral est de nature non pécuniaire, le recours est ouvert indépendamment de la valeur litigieuse (arrêts 5A_507/2013 du 29 octobre 2013 consid. 1; 5A_263/2013 du 13 août 2013 consid. 1.1). Par ailleurs, le recours a été interjeté dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, par une partie ayant pris part à la procédure devant l'autorité précédente et justifiant d'un intérêt digne de protection à la modification ou à l'annulation de la décision attaquée (art. 76 al. 1 let. a et b LTF), contre une décision rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al.1 et 2 LTF). Le recours en matière civile est donc en principe recevable.
2.
2.1. Dans le cas d'un recours dirigé, comme en l'espèce, contre une décision portant sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5 p. 396), le Tribunal fédéral dispose d'un pouvoir d'examen limité, seule la violation des droits constitutionnels peut être invoquée. Le Tribunal fédéral n'examine en outre les griefs de violation de droits constitutionnels que s'ils ont été invoqués et motivés ("principe d'allégation", <ref-law>), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 1.4 p. 287). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (<ref-ruling> consid. 3 p. 351 s.; <ref-ruling> consid. 3.2 p. 400; arrêt 5A_99/2011 du 22 septembre 2011 consid. 2.1).
2.2. Dans le domaine de la protection de l'enfant, les dispositions relatives à la procédure devant l'autorité de protection de l'adulte sont applicables par analogie (<ref-law>). Le droit fédéral, dans la mesure où il ne contient pas de règles particulières, confère aux cantons le pouvoir de régler la procédure dans ce domaine. Si les cantons n'en disposent pas autrement, les normes de la procédure civile sont applicables par analogie, à titre de droit cantonal supplétif (<ref-law>). Il s'ensuit que le Tribunal fédéral ne revoit l'application du CPC dans ce contexte que si elle est arbitraire, dès lors que, par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur une question relevant du droit cantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>, "principe d'allégation" cf. supra consid. 2.1; <ref-ruling> consid. 1.3.1 p. 68).
2.3. Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. La partie qui entend produire une pièce nouvelle doit en outre exposer dans quelle mesure les conditions nécessaires à une présentation ultérieure de moyens de preuve sont remplies (<ref-ruling> consid. 3 p. 395 et la jurisprudence citée). Les pièces postérieures à la décision attaquée sont d'emblée irrecevables (<ref-ruling> consid. 2.1 p. 343 s.; arrêt 5A_640/2011 du 4 janvier 2012 consid. 1.4).
En l'espèce, l'intimé produit une copie de la décision de l'APEA et le rapport du 4 septembre 2013 de l'intervenante de l'OPE qui ont déjà été versé au dossier de la cause. Quant au recours du 2 octobre 2013 contre la décision du 25 juillet 2013 de nomination d'une nouvelle tutrice à l'enfant et aux courriers des 10 et 25 octobre 2013 respectivement du conseil de l'intimé et de l'intervenante de l'OPE, l'intimé n'affirme pas, ni a fortiori n'établit, que c'est la décision de l'autorité précédente qui, pour la première fois, aurait rendu pertinents ces moyens de preuve. Partant, ces pièces produites en instance fédérale par l'intimé, au demeurant postérieures à la décision attaquée, sont d'emblée irrecevables.
3.
Le présent recours a pour objet la violation du droit d'être entendu (art. 29 al. 2 Cst.).
3.1. Invoquant son droit d'être entendue garanti par l'art. 29 al. 2 Cst., la recourante - placée sous tutelle volontaire au sens de l'art. 372 aCC et à laquelle la garde de son enfant a été retirée -, fait valoir que la cour cantonale a procédé à des notifications viciées, eu égard aux art. 67 al. 2 et 137 CPC qui prévoient que la notification des actes à une partie qui n'a pas l'exercice des droits civils doit intervenir en mains du représentant légal. La recourante fait valoir que, à deux reprises, le juge cantonal n'a pas régulièrement notifié les actes de la procédure, en ce sens que l'invitation à se déterminer sur le recours cantonal du père et l'arrêt entrepris ont été directement notifiés à la mère, alors que - étant placée sous tutelle - elle n'en comprend pas la portée, en sorte que ces communications n'ont pas été portées à la connaissance de la tutrice, de manière à assurer valablement la défense des intérêts de la mère. La recourante n'ayant pas pu participer à la procédure, l'autorité précédente a violé le droit d'être entendu (art. 29 al. 2 Cst.) de la recourante.
3.2. L'autorité précédente expose, dans ses déterminations du 25 octobre 2013, que, par ordonnance du 28 août 2013, elle a invité la mère a se déterminer sur le recours formé par le père et qu'un exemplaire de cette ordonnance a été expressément adressé à la curatrice. La mère n'ayant pas retiré le pli judiciaire, celui-ci a été réexpédié en courrier A, à titre informatif, avec une copie à sa curatrice. Le juge cantonal indique en outre que la curatrice a été informée téléphoniquement le 10 septembre 2013, du recours interjeté et de la demande de détermination adressée à la mère. Considérant que la curatrice a été informée du recours et de l'invitation à déposer des observations, l'autorité précédente estime que la curatrice n'a pas jugé utile d'intervenir. Le juge cantonal relève par ailleurs que la mère de l'enfant est capable de discernement et en mesure d'exercer ses droits strictement personnels, en sorte que l'ordonnance du 28 août 2013 lui a été notifiée directement.
Dans sa réponse, l'intimé reprend le raisonnement exposé par l'autorité précédente dans ses observations du 25 octobre 2013 au sujet de la notification de l'ordonnance du 28 août 2013, en s'y référant.
3.3.
3.3.1. Le droit d'être entendu est un grief de nature formelle (<ref-ruling> consid. 3d/aa p. 437 s.), dont la violation entraîne l'annulation de la décision attaquée indépendamment des chances de succès du recours sur le fond (<ref-ruling> consid. 3d/aa p. 437), qu'il convient par conséquent d'examiner avec une cognition libre (<ref-ruling> consid. 2a p. 57 et les arrêts cités).
Compris comme l'un des aspects de la notion générale de procès équitable au sens des art. 29 Cst., le droit d'être entendu garantit notamment au justiciable le droit de s'expliquer avant qu'une décision ne soit prise à son détriment, d'avoir accès au dossier, de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, dans la mesure où elle l'estime nécessaire, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre (<ref-ruling> consid. 2.3.3 p. 157; <ref-ruling> consid. 2.3.1 p. 197; <ref-ruling> consid. 5.1 p. 293; <ref-ruling> consid. 4.3 p. 102; <ref-ruling> consid. 3.3.2 p. 46). Il appartient aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part. Ce droit à la réplique vaut pour toutes les procédures judiciaires (<ref-ruling> consid. 2. 5 p. 157; <ref-ruling> consid. 4.3 ss p. 102 ss, 98 consid. 2.2 p. 99; <ref-ruling> consid. 3.3.2 - 3.3.4 p. 46 s.). Toute prise de position ou pièce nouvelle versée au dossier doit dès lors être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (ATF <ref-ruling> consid. 2.3.1 p. 197; <ref-ruling> consid. 2.2 p. 99, 100 consid. 4.5 p. 103 s.; <ref-ruling> consid. 3.3.2 - 3.3.4 p. 46 s.; arrêt 5A_503/2010 du 28 mars 2011 consid. 2.2; cf. en outre les arrêts de la Cour européenne des droits de l'homme dans les causes Schaller-Bossert contre Suisse du 28 octobre 2010 § 39 s. et Nideröst-Huber contre Suisse du 18 février 1997, Recueil CourEDH 1997-I p. 101 § 24).
3.3.2. L'exercice des droits civils confère la capacité d'ester en justice, en sorte qu'une personne qui n'a pas l'exercice des droits civils doit agir par l'intermédiaire de son représentant légal (art. 67 al. 1 et 2 CPC). Lorsque la partie est représentée, les actes sont notifiés à son représentant légal (<ref-law>). La notification d'un acte doit permettre au destinataire de prendre connaissance de cette communication et, le cas échéant, de réagir à cet acte (<ref-ruling> consid. 2a p. 297).
3.4. En l'occurrence, bien que la recourante soit placée sous tutelle au sens de l'art. 372 aCC depuis le 4 août 2008 ( cf. supra faits A.a), l'autorité précédente ne conteste pas lui avoir notifié des actes directement, mais soutient que la curatrice aurait reçu, par courrier simple du 28 août 2013, l'invitation à se déterminer sur le recours et qu'elle en aurait été informée par téléphone du greffe le 10 septembre 2013 ( supra consid. 3.2). Ces éléments ne ressortent néanmoins nullement du dossier de la cause et ni le juge cantonal, ni l'intimé n'établissent ces allégations. Il apparaît uniquement que la curatrice de la mère a été informée du dépôt d'un recours par la lettre du 2 septembre 2013 de la Présidente de l'APEA et qu'elle a reçu une copie de la lettre du 10 septembre 2013 renvoyée à C._ à la suite du retour du pli judiciaire du 28 août 2013. La curatrice a donc pris connaissance du contenu du recours déposé par le père et du droit de la mère de déposer des observations sur ce recours, au mieux le 11 septembre 2013, en sorte qu'elle n'a pas disposé du temps nécessaire pour en discuter avec la recourante - laquelle a pris connaissance du délai dans le meilleur des cas le même jour que sa curatrice, n'ayant pas retiré le pli judiciaire -, puis pour décider si elles entendaient faire usage ou non du droit de celle-ci à se déterminer ( cf. supra consid. 3.3.1). Au demeurant, vu les art. 67 al. 1 et 2 et 137 CPC, dont le second s'applique ici à titre de droit cantonal supplétif (<ref-law>; cf. supra consid. 2.2), il importe peu que la recourante soit capable ou non de discernement comme le soutient le juge cantonal, la loi prévoyant que la notification des décisions doit intervenir en mains du représentant ( supra consid. 3.3.2), sans égard au fait que le représenté soit ou non capable de discernement. La notification de l'ordonnance du 28 août 2013, qui est donc irrégulière au sens de l'<ref-law>, a eu pour effet qu'elle n'a effectivement pas permis à la destinataire et à sa représentante légale d'en être informées et de réagir, violant ainsi le droit de la recourante à être entendue (art. 29 al. 2 Cst.).
De surcroît, l'autorité cantonale a rendu et notifié sa décision le 16 septembre 2013, à savoir le dixième jour après le dernier jour du délai de garde postale, autrement dit avant même l'expiration du délai imparti dans l'ordonnance du 28 août 2013 pour se déterminer. L'arrêt querellé a en outre été rendu cinq jours seulement après que la curatrice et la mère aient, dans le meilleur des cas, eu connaissance du recours et de leur possibilité de se déterminer, ce qui apparaît comme un délai insuffisant pour transmettre des observations à l'autorité.
3.5. Le grief de violation du droit d'être entendu (art. 29 al. 2 Cst.) doit donc être admis, dès lors que l'autorité cantonale, a transgressé cette garantie par la communication irrégulière de l'ordonnance du 28 août 2013 et par la décision rendue avant même l'expiration du délai de dix jours, privant ainsi la recourante de la possibilité effective de faire parvenir des déterminations sur le recours cantonal avant que l'arrêt attaqué soit rendu et notifié. L'admission de ce grief scelle le sort du recours sans qu'il faille examiner si la notification irrégulière de l'arrêt querellé du 16 septembre 2013 directement à la recourante, sans copie du même jour à sa représentante, est également constitutif d'une violation du droit d'être entendu (art. 29 al. 2 Cst.).
4.
Vu ce qui précède, le recours doit être admis, la décision attaquée annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision. Les frais judiciaires sont mis à la charge de l'intimé, qui a conclu au rejet du recours (<ref-law>). L'intimé versera à la recourante une indemnité de dépens (<ref-law>). La requête d'assistance judiciaire de la recourante devient ainsi sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis, la décision attaquée est annulée et la cause est renvoyée à l'autorité précédente pour nouvelle décision.
2.
La requête d'assistance judiciaire de la recourante est sans objet.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de l'intimé.
4.
L'intimé versera à la recourante la somme de 1'500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, à l'Autorité de protection de l'enfant et de l'adulte du district de H._, à F._, tutrice de l'enfant A._, et au Juge de la IIe Cour civile du Tribunal cantonal du canton du Valais.
Lausanne, le 31 janvier 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Gauron-Carlin