Faits: A. C._ est la mère de l'enfant A._, né hors mariage le 10 octobre 2003 de sa relation avec B._. Les parents se sont séparés peu après la naissance de l'enfant, au mois de décembre 2003. L'enfant A._ est demeuré auprès de C._, laquelle est également la mère de trois autres enfants de deux autres relations; deux sont majeurs et une fille est née en 2008. Le père vit depuis 2010 en ménage avec son amie et le fils de celle-ci, E._, né en 2001. A.a. A la suite d'un rapport du 6 juin 2008 du centre médico-subrégional de H._ soulignant notamment la situation précaire de C._, la Chambre pupillaire de I._ a cité celle-ci à comparaître le 28 juillet 2008. Lors de cette audience, C._ a accepté sa mise sous tutelle au sens de l'art. 372 aCC. Le 4 août 2008, la Chambre pupillaire de I._ a désigné G._ en qualité de tutrice de la mère. Le 19 décembre 2008, elle a mandaté cette même personne pour assurer la tutelle des deux enfants mineurs de C._, en raison de son interdiction. A.b. Le 12 mars 2012, C._ et B._ ont conclu une convention instaurant la garde partagée de l'enfant A._ et rappelant que la mère était placée sous tutelle, partant, elle ne bénéficiait pas de l'autorité parentale. La Chambre pupillaire du district de H._ a homologué cette convention le 29 mars 2012. A.c. Le lundi 4 février 2013, C._ a dénoncé à la police cantonale de prétendus actes d'ordre sexuel commis par l'enfant E._ sur son fils A._. Les investigations menées ont révélé que les faits s'étaient vraisemblablement produits avant le printemps 2010. Dès lors que l'enfant E._ n'était pas âgé de dix ans au moment des faits et que la différence d'âge entre les protagonistes ne dépassait pas trois ans, la juge des mineurs a rendu une ordonnance de non-entrée en matière le 15 mai 2013, mais elle a avisé l'autorité de protection de l'enfant et de l'adulte du district de H._ (ci-après : APEA) " afin que les mesures adéquates puissent être prises sur le plan civil ". Le 14 février 2013, l'APEA, a tenu une audience au cours de laquelle le père a accepté, avec sa compagne, que l'enfant E._ séjourne chez sa grand-mère lorsque A._ se trouvait chez eux. Dans un rapport du 18 juin 2013, l'intervenante en protection de l'enfant a relevé que C._ se trouvait en arrêt maladie et suivie sur le plan psychologique et a exposé que le système de la garde alternée n'était pas adéquat, partant, qu'elle préconisait le placement de l'enfant dès le mois d'août 2013, bien que les deux parents y soient opposés. Dans un courrier du 12 juillet 2013, l'avocat du père a indiqué que la dénonciation pénale de la mère visait à mettre un terme au système de garde alternée et que son client entendait surveiller les enfants de manière accrue. La mandataire du père a également demandé qu'un "tuteur neutre" soit nommé à l'enfant. La Présidente de l'APEA a entendu l'enfant A._ le 24 juillet 2013, de manière confidentielle. B. Le 25 juillet 2013, l'APEA a tenu une audience en présence des père et mère, de la tutrice de la mère et de l'enfant, G._, ainsi que de l'intervenante en protection de l'enfant. Cette dernière a exposé que la garde alternée devait être réévaluée à la suite de la procédure pénale et a confirmé le contenu de son rapport, partant, qu'elle maintenait sa proposition de placement de l'enfant, nonobstant l'opposition de deux parents. B.a. Par décision de mesures provisionnelles du 25 juillet 2013, l'APEA a notamment retiré la garde de l'enfant A._ aux père et mère, et confié sa garde à l'Office pour la protection de l'enfant (ci-après : OPE), avec le pouvoir de le placer dans un lieu approprié à son bien-être. Par décision du même jour, l'APEA a relevé G._ de ses fonctions de tutrice de l'enfant A._ et a nommé une nouvelle tutrice à l'enfant au sens des art. 327a à 327c CC. Les deux décisions de l'APEA ont été notifiées le 12 août 2013 notamment à G._, au père et à la mère, pour celle-ci par sa curatrice. B.b. Le 23 août 2013, le père a recouru contre la décision du 25 juillet 2013 plaçant son fils en institution, concluant principalement à ce que la garde sur son fils lui soit provisoirement accordée, subsidiairement à ce que l'APEA soit invitée à statuer à nouveau après complément d'instruction. Par lettre du 28 août 2013, adressée à C._ et l'APEA, le Juge de la IIe Cour civile du Tribunal cantonal du canton du Valais a invité celles-ci à se déterminer sur le recours du père dans un délai de dix jours dès réception du courrier. Par courrier du 2 septembre 2013, G._ et la nouvelle tutrice de l'enfant ont été informées par la Présidente de l'APEA que le père avait déposé un recours contre la décision du 25 juillet 2013 concernant le retrait du droit de garde de l'enfant. Par courrier du 5 septembre 2013, l'APEA a renoncé à déposer des observations. Le 10 septembre 2013, le greffe du Tribunal cantonal a reçu en retour le pli judiciaire adressé le 28 août 2013 à la mère de l'enfant, avec la mention "non réclamé". L'invitation à déposer des déterminations sur le recours a été renvoyée le même jour à C._ et en copie à sa curatrice, étant précisé que la notification était réputée survenue à l'expiration du délai de sept jours à compter de l'échec de la remise du pli. B.c. Par arrêt du 16 septembre 2013, le Juge de la IIe Cour civile du Tribunal cantonal du canton du Valais a admis le recours et modifié la décision du 25 juillet 2013 en ce sens que la garde de l'enfant est attribuée au père. Cet arrêt a été notifié le 16 septembre 2013 par pli recommandé à la mandataire du père, à la mère et à l'autorité de première instance. Par lettre du 20 septembre 2013, le Juge de la IIe Cour civile a fait parvenir un exemplaire de son arrêt à la curatrice de la mère, G._, et à la nouvelle tutrice de l'enfant. C. Par acte du 18 octobre 2013, C._ exerce un recours en matière civile au Tribunal fédéral. Elle conclut principalement à l'annulation de l'arrêt entrepris, subsidiairement au renvoi de la cause à l'autorité précédente. Au préalable, la recourante sollicite l'octroi de l'effet suspensif à son recours et requiert le bénéfice de l'assistance judiciaire pour la procédure fédérale. Invités à se déterminer sur la requête d'effet suspensif, l'intimé a conclu au rejet de la requête, l'autorité précédente s'est prononcée sur le fond du recours dans une lettre du 25 octobre 2013 et l'APEA s'est référée au dossier de la cause. D. Par ordonnance du 8 novembre 2013, le Président de la IIe Cour de droit civil du Tribunal fédéral a octroyé l'effet suspensif au recours. Invité à déposer des observations sur le recours, le père a, par mémoire de réponse du 13 janvier 2014, auquel il a joint un onglet de pièces, conclu en substance à l'irrecevabilité du recours, subsidiairement à son rejet. L'autorité cantonale s'est quant à elle référée aux observations qu'elle avait déposées le 25 octobre 2013 et l'APEA a renoncé à se déterminer.