Faits :
A.
A._ et B._, se sont mariés en mars 2018. Ils ont eu un enfant, C._, né en juillet 2018. Les époux vivent séparés depuis septembre 2019.
B.
B.a. Le 5 décembre 2019, l'époux a saisi la Juge des districts de Martigny et St-Maurice (ci-après: la Juge de district) d'une requête de mesures superprovisionnelles et provisionnelles (recte: requête de mesures superprovisionnelles et de mesures protectrices de l'union conjugale tendant notamment à ce que la garde exclusive de l'enfant lui soit attribuée.
Par décision de mesures provisionnelles du 20 décembre 2020 (recte: 2019), la Juge de district a entre autres confié au père la garde de l'enfant confirmant sur ce point le dispositif de mesures superprovisionnelles du 5 décembre 2019 et ordonné de procéder à une évaluation du lien mère-enfant.
Le 14 janvier 2020, l'épouse a fait appel de cette décision.
B.b. Par décision du 3 avril 2020, la Juge de district a partiellement admis les conclusions principales de la requête de mesures protectrices de l'union conjugale déposée le 5 décembre 2019. Elle a en particulier confié la garde exclusive au père et maintenu l'exercice du droit aux relations personnelles de la mère par le biais d'une structure d'accueil jusqu'à ce qu'une évolution soit possible.
Dite décision n'a pas fait l'objet d'un appel.
B.c. Par jugement du 24 août 2020, le Juge unique de la Cour civile II du Tribunal cantonal du canton du Valais a admis l'appel formé par l'épouse le 14 janvier 2020. Il a réformé la décision de mesures provisionnelles du 20 décembre 2019 en ce sens notamment que la garde exclusive de l'enfant était attribuée à la mère, un droit aux relations personnelles étant réservé au père.
C.
C.a. Agissant par mémoire du 28 août 2020, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à l'annulation du jugement cantonal et au maintien en sa faveur de la garde exclusive sur l'enfant et, à titre subsidiaire, au renvoi de la cause au Tribunal cantonal " pour instruction complémentaire et application de la maxime de disposition ".
Invitée à se déterminer sur la requête d'effet suspensif du recourant, l'intimée a conclu à son rejet. Elle a aussi requis l'assistance judiciaire pour la procédure fédérale.
Par ordonnance présidentielle du 10 septembre 2020, la requête d'effet suspensif du recourant a été admise. Statuant par ordonnance du 8 décembre 2020, le Président de la Cour de céans a rejeté la requête de retrait d'effet suspensif avec effet immédiat introduite spontanément par l'intimée.
C.b. Le 13 janvier 2021, le Juge instructeur a informé le recourant que le Tribunal fédéral envisageait de déclarer le recours sans objet, dès lors que la procédure actuellement pendante concernait une décision de mesures provisionnelles rendue dans le cadre de mesures protectrices de l'union conjugale faisant l'objet, dans l'intervalle, d'une décision entrée en force. Il l'a invité à se déterminer sur la suite qu'il entendait donner à son recours, respectivement sur son maintien ou non.
Par courrier du 21 janvier 2021, le recourant a indiqué maintenir son recours, au motif que la cause était devenue sans objet avant le prononcé du jugement objet du recours (et non après), de sorte que le Tribunal cantonal aurait dû déclarer le recours de l'intimée sans objet, ce qui ne fut pas le cas, l'autorité précédente ayant modifié une décision devenue sans objet et statué sur les frais et dépens. Pour mémoire, il a précisé que suite au jugement entrepris l'enfant avait été confié à la mère le temps que le Tribunal fédéral accorde l'effet suspensif et que dans le doute les parties avaient considéré, probablement à tort, que le jugement du Tribunal cantonal du 24 août 2020 emportait sur les mesures protectrices de l'union conjugale du 4 avril 2020 (recte: 3 avril 2020).

Considérant en droit :
1.
Le Tribunal fédéral examine d'office la recevabilité des recours dont il est saisi (<ref-ruling> consid. 1; <ref-ruling> consid. 1).
Le présent recours a été déposé dans le délai légal (<ref-law>) à l'encontre d'une décision prise en matière civile (<ref-law>; arrêt 5A_813/2017 du 31 mai 2018 consid. 1.1) par un tribunal supérieur statuant sur recours (art. 75 al. 1 et 2 LTF). Dès lors qu'il porte sur l'attribution de la garde de l'enfant, le litige est de nature non pécuniaire (arrêts 5A_130/2018 du 11 avril 2018 consid. 1, 5A_548/2015 du 15 octobre 2015 consid. 1, 5A_465/2012 du 18 septembre 2012 consid. 1 et les références).
2.
La recevabilité du recours suppose encore que la partie qui saisit le Tribunal fédéral ait la qualité pour recourir.
2.1. Selon l'<ref-law>, le recourant doit avoir un intérêt digne de protection à l'annulation de la décision attaquée. L'intérêt digne de protection consiste dans l'utilité pratique que l'admission du recours apporterait à son auteur, en lui évitant de subir un préjudice de nature économique, idéale, matérielle ou autre que la décision attaquée lui occasionnerait (<ref-ruling> consid. 2.3 à propos de l'art. 89 al. 1 let. c LTF; l'exigence d'intérêt digne de protection de cette disposition est identique à celle de l'<ref-law>, voir arrêt 4A_134/2012 du 16 juillet 2012 consid. 2.1). En effet, le Tribunal fédéral ne se prononce que sur des questions concrètes et non pas théoriques (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.2). L'intérêt doit être actuel, c'est-à-dire qu'il doit exister non seulement au moment du dépôt du recours, mais encore au moment où l'arrêt est rendu (<ref-ruling> consid. 4.2; <ref-ruling> consid. 2.1). Il fait défaut en particulier lorsque la décision attaquée a été exécutée ou est devenue sans objet (<ref-ruling> consid. 5b; <ref-ruling> consid. 1a). Il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir au Tribunal fédéral selon l'<ref-law>, lorsqu'ils ne ressortent pas à l'évidence de la décision attaquée ou du dossier de la cause (<ref-ruling> consid. 1). Le Tribunal fédéral déclare le recours irrecevable lorsque l'intérêt digne de protection fait défaut au moment du dépôt du recours (<ref-ruling> consid. 1.3.1 et les références).
2.2. En l'occurrence, le jugement cantonal querellé, qui a pour objet des mesures provisionnelles ordonnées dans le cadre d'une procédure de mesures protectrices de l'union conjugale, a été rendu le 24 août 2020 (sur la possibilité d'ordonner de telles mesures, voir arrêt 5A_870/2013 du 28 octobre 2014 consid. 5). Selon les faits procéduraux qui ne ressortent pas de l'arrêt cantonal mais ont été complétés d'office sur la base du dossier en vertu de l'<ref-law>, la décision principale de mesures protectrices de l'union conjugale a été rendue le 3 avril 2020 et n'a pas fait l'objet d'un appel. Or, l'<ref-law> dispose que l'entrée force de la décision sur le fond entraîne la caducité des mesures provisionnelles, à moins que le tribunal, aux conditions prévues par la loi, n'en ordonne le maintien. En l'espèce, la Juge de district n'a pas ordonné dans sa décision de mesures protectrices de l'union conjugale le maintien des mesures provisionnelles, de sorte que celles-ci étaient déjà caduques le 28 août 2020, date à laquelle le recourant a introduit le présent recours. En conséquence, le recours doit être déclaré irrecevable faute d'intérêt au sens de l'<ref-law>, sans qu'il n'y ait lieu d'examiner si l'autorité cantonale devait ou non déclarer le recours sans objet. Les conditions pour que le Tribunal fédéral fasse exceptionnellement abstraction de l'exigence d'un intérêt actuel ne sont au surplus manifestement pas réunies.
Même si un recourant peut parfois avoir un intérêt légitime et actuel à obtenir l'annulation d'une décision qui met des frais et dépens à sa charge lorsqu'il ne peut pas être entré en matière sur les griefs soulevés contre la question principale, il faut néanmoins que celui-ci soulève des motifs spécifiques contre la decision sur les frais et dépens autres que ceux qu'il invoque à propos de la question principale (<ref-ruling> consid. 1b p. 255; arrêts 4A_134/2012 du 16 juillet 2012 consid. 3, 4A_637/2010 du 2 février 2011 consid. 4). En l'espèce, le recourant ne soulève pas de tels motifs, de sorte qu'un intérêt à contester sa condamnation aux frais et dépens dans le jugement cantonal ne peut pas non plus lui être reconnu.
3.
Sur le vu de ce qui précède, le recours est irrecevable. Les frais judiciaires sont mis à la charge du recourant qui succombe (<ref-law>) et qui a maintenu son recours alors qu'il n'avait pas d'intérêt à recourir. Il n'est pas alloué de dépens à l'intimée, qui n'a pas été invitée à se déterminer sur le fond du litige, qui a succombé sur le sort de la requête d'effet suspensif et qui a été déboutée de sa requête de retrait d'effet suspensif. La requête d'assistance judiciaire de l'intimée est admise (<ref-law>). Une indemnité, provisoirement supportée par la Caisse du Tribunal fédéral, est allouée au conseil de l'intimée à titre d'honoraires d'avocat d'office pour la procédure fédérale (<ref-law>). L'intimée est rendue attentive au fait qu'elle est tenue de rembourser ultérieurement la Caisse du Tribunal fédéral si elle est en mesure de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
La demande d'assistance judiciaire de l'intimée est admise et Me Richard-Xavier Posse, lui est désigné comme conseil d'office pour la procédure fédérale.
4.
La Caisse du Tribunal fédéral versera à Me Richard-Xavier Posse une indemnité de 500 fr. à titre d'honoraires d'avocat d'office.
5.
Le présent arrêt est communiqué aux parties et au Juge unique de la Cour Civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 25 février 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
Le Greffier : Piccinin