Faits :
A.
C._ est né à U._ en 2016 de la relation hors mariage entretenue par B._ et A._, lequel a reconnu sa paternité sur l'enfant devant l'état civil.
B.
B.a. Par courrier du 21 janvier 2020 adressé au Tribunal de protection de l'adulte et de l'enfant de Genève (ci-après: Tribunal de protection), A._ a sollicité l'attribution de l'autorité parentale conjointe sur son fils C._. Le 1er juin 2020, il a demandé en sus l'instauration d'une garde partagée à raison de deux jours et nuits au moins par semaine, de deux week-ends par mois et de la moitié des vacances scolaires. Dans un courrier du 13 août 2020, il a conclu à ce qu'au moins deux jours et deux nuits par semaine lui soient attribués, ainsi qu'un week-end sur deux du vendredi 19h00 au lundi matin retour à la crèche, le domicile de l'enfant pouvant être maintenu chez sa mère.
B.b. Par ordonnance du 26 octobre 2020, le Tribunal de protection a instauré l'autorité parentale conjointe de B._ et A._ sur le mineur C._ (chiffre 1 du dispositif), instauré une garde alternée sur le mineur, celui-ci devant se trouver chez son père chaque semaine du mardi après la crèche jusqu'au jeudi matin retour à la crèche, un week-end sur deux du vendredi 19h00 jusqu'au dimanche 19h00, ainsi que durant la moitié des vacances scolaires (ch. 2), dit que le domicile légal du mineur est chez sa mère (ch. 3), attribué à chacun des parents, à parts égales, la bonification pour tâches éducatives de l'AVS (ch. 4), instauré un droit de regard et d'information (ch. 5), désigné une intervenante en protection de l'enfant, ainsi qu'un suppléant, aux fonctions de surveillants (ch. 6) et débouté les parties de toutes autres conclusions (ch. 7).
C.
C.a. Le 8 janvier 2021, B._ a formé recours contre l'ordonnance du 26 octobre 2020, reçue le 11 décembre 2020, concluant à l'annulation des chiffres 2, 3 et 4 de son dispositif et, cela fait, à l'attribution à elle-même de la garde exclusive de l'enfant C._, à ce qu'un droit de visite soit accordé au père, dont les modalités devaient être fixées par le Service d'évaluation et d'accompagnement de la séparation parentale, à ce qu'une curatelle d'organisation et de surveillance du droit de visite soit instaurée, les frais de la procédure devant être mis à la charge de l'État.
C.b. Par décision du 12 avril 2021, la Chambre de surveillance de la Cour de justice du canton de Genève (ci-après: Chambre de surveillance) a annulé les chiffres 2 et 4 du dispositif de l'ordonnance attaquée et les a réformés en ce sens que la garde du mineur C._ est attribuée à B._ et qu'un droit de visite sur l'enfant, lequel s'exercera, sauf accord contraire des parties, un soir par semaine jusqu'au lendemain matin (soit en l'état le mercredi à la sortie de la crèche jusqu'au jeudi matin retour à la crèche), un week-end sur deux du vendredi 18h00 jusqu'au dimanche 18h00 et durant la moitié des vacances scolaires, est réservé à A._ et que l'entier de la bonification pour tâches éducatives de l'AVS est attribuée à B._. L'ordonnance attaquée a été confirmée pour le surplus. La Chambre de surveillance a par ailleurs arrêté les frais judiciaires du recours à 400 fr., les a compensés avec l'avance de frais versée par la recourante, les a mis à la charge de A._ et l'a condamné en conséquence à verser à B._ la somme de 400 fr., et a dit qu'il n'était pas alloué de dépens.
D.
Par acte posté le 15 mai 2021, A._ exerce un recours en matière civile au Tribunal fédéral contre la décision du 12 avril 2021. Il conclut à son annulation et à sa réforme en ce sens qu'une garde partagée en faveur du mineur C._, qui sera chez son père chaque semaine du mardi à la sortie de l'école jusqu'au jeudi matin retour à la reprise de l'école, un week-end sur deux du vendredi à la sortie de l'école au dimanche à 19h00, ainsi que durant la moitié des vacances scolaires soit instaurée, qu'il soit dit que le domicile légal du mineur demeure auprès de sa mère, que la bonification pour tâches éducatives soit attribuée à chacun des parents à parts égales, qu'il soit dit qu'il est dispensé du paiement des frais judiciaires devant la Chambre de surveillance à titre de remboursement de la somme de 400 fr. à B._. Pour le surplus, A._ a requis le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Par courrier posté le 14 septembre 2021, le recourant a complété son recours et produit des pièces nouvelles.
L'intimée conclut au rejet du recours. La cour cantonale s'est référée aux considérants de son arrêt.
E.
Par ordonnance présidentielle du 1er juin 2021, la requête d'effet suspensif assortissant le recours a été rejetée.

Considérant en droit :
1.
Déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>) rendue par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), dans une affaire civile au sens de l'<ref-law> dès lors qu'elle ne porte pas sur une mesure de protection de l'enfant au sens strict (arrêts 5A_844/2019 du 17 septembre 2020 consid. 1; 5A_794/2017 du 7 février 2018 consid. 1 et les références), de nature non pécuniaire. Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours formé le 15 mai 2021 est donc en principe recevable au regard des dispositions qui précèdent. En revanche, le complément au recours adressé le 13 septembre 2021 à la Cour de céans ainsi que les pièces qui y sont jointes sont irrecevables pour cause de tardiveté.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), doit satisfaire au principe d'allégation susmentionné (<ref-law>; cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.1).
3.
Se plaignant d'arbitraire à la fois dans l'établissement des faits et l'appréciation des preuves ainsi que dans l'application du droit fédéral, le recourant reproche à la Chambre de surveillance d'avoir refusé d'instaurer une garde alternée, respectivement de lui octroyer une nuit supplémentaire par semaine avec son fils.
Il convient d'emblée de relever que, dans un recours en matière civile qui n'est pas soumis à l'<ref-law>, le Tribunal fédéral examine librement l'application du droit fédéral (<ref-ruling> consid. 4.2; <ref-ruling> consid. 1.2; arrêt 5A_256/2020 du 8 novembre 2021 consid. 4.3.1 et les autres références). La Cour de céans traitera donc la critique de la violation du droit fédéral sans limiter son pouvoir d'examen à l'arbitraire.
3.1.
3.1.1. A teneur de l'<ref-law>, lorsque l'autorité parentale est exercée conjointement, l'autorité de protection de l'enfant examine, selon le bien de l'enfant, la possibilité de la garde alternée, si le père, la mère ou l'enfant le demande.
La garde alternée est la situation dans laquelle les parents exercent en commun l'autorité parentale, mais se partagent la garde de l'enfant d'une façon alternée pour des périodes plus ou moins égales, pouvant être fixées en jours ou en semaines, voire en mois (arrêts 5A_345/2020 du 30 avril 2021 consid. 5.1; 5A_793/2020 du 24 février 2021 consid. 5.1.1 et les références; cf. aussi <ref-ruling> consid. 3.2). Bien que l'autorité parentale conjointe soit désormais la règle et qu'elle comprenne le droit de déterminer le lieu de résidence de l'enfant (art. 296 al. 2 et 301a al. 1 CC; <ref-ruling> consid. 3.1 et 3.5 et les références citées), elle n'implique pas nécessairement l'instauration d'une garde alternée. Invité à statuer à cet égard, l'autorité compétente doit néanmoins examiner, nonobstant et indépendamment de l'accord des parents quant à une garde alternée, si celle-ci est possible et compatible avec le bien de l'enfant (<ref-ruling> consid. 4.2, 617 consid. 3.2.3). Le bien de l'enfant constitue en effet la règle fondamentale en matière d'attribution des droits parentaux (<ref-ruling> consid. 5.5.3; <ref-ruling> consid. 5.4), les intérêts des parents devant être relégués au second plan (<ref-ruling> consid. 3.2.3 et les références; arrêt 5A_67/2021 du 31 août 2021 consid. 3.1.1).
3.1.2. L'autorité compétente doit évaluer, sur la base de la situation de fait actuelle ainsi que de celle qui prévalait avant la séparation des parties, si l'instauration d'une garde alternée est effectivement à même de préserver le bien de l'enfant. A cette fin, elle doit en premier lieu examiner si chacun des parents dispose de capacités éducatives, lesquelles doivent être données chez chacun des parents pour pouvoir envisager l'instauration d'une garde alternée, ainsi que l'existence d'une bonne capacité et volonté des parents de communiquer et coopérer compte tenu des mesures organisationnelles et de la transmission régulière d'informations que nécessite ce mode de garde. A cet égard, on ne saurait déduire une incapacité à coopérer entre les parents du seul refus d'instaurer la garde alternée. En revanche, un conflit marqué et persistant entre les parents portant sur des questions liées à l'enfant laisse présager des difficultés futures de collaboration et aura en principe pour conséquence d'exposer de manière récurrente l'enfant à une situation conflictuelle, ce qui pourrait apparaître contraire à son intérêt (<ref-ruling> consid. 3.2.3; arrêts 5A_67/2021 du 31 août 2021 consid. 3.1.3; 5A_682/2020 du 21 juin 2021 consid. 2.1; 5A_793/2020 précité consid. 5.1.2 et les autres références).
Si les parents disposent tous deux de capacités éducatives, le juge doit dans un deuxième temps évaluer les autres critères d'appréciation pertinents pour l'attribution de la garde à l'un des parents. Au nombre des critères essentiels pour cet examen, entrent en ligne de compte la situation géographique et la distance séparant les logements des deux parents, la capacité et la volonté de chaque parent de favoriser les contacts entre l'autre parent et l'enfant, la stabilité que peut apporter à l'enfant le maintien de la situation antérieure, en ce sens notamment qu'une garde alternée sera instaurée plus facilement lorsque les deux parents s'occupaient de l'enfant en alternance déjà avant la séparation, la possibilité pour chaque parent de s'occuper personnellement de l'enfant, l'âge de ce dernier et son appartenance à une fratrie ou à un cercle social. Les critères d'appréciation précités sont interdépendants et leur importance varie en fonction du cas d'espèce. Ainsi, les critères de la stabilité et de la possibilité pour le parent de s'occuper personnellement de l'enfant auront un rôle prépondérant chez les nourrissons et les enfants en bas âge alors que l'appartenance à un cercle social sera particulièrement importante pour un adolescent. La capacité de collaboration et de communication des parents est, quant à elle, d'autant plus importante lorsque l'enfant concerné est déjà scolarisé ou qu'un certain éloignement géographique entre les domiciles respectifs des parents nécessite une plus grande organisation (<ref-ruling> consid. 3.2.3; arrêts 5A_67/2021 précité loc. cit.; 5A_682/2020 précité loc. cit; 5A_793/2020 précité loc. cit.).
Si le juge arrive à la conclusion qu'une garde alternée n'est pas dans l'intérêt de l'enfant, il devra alors déterminer auquel des deux parents il attribue la garde en tenant compte, pour l'essentiel, des mêmes critères d'évaluation et en appréciant, en sus, la capacité de chaque parent à favoriser les contacts entre l'enfant et l'autre parent (<ref-ruling> consid. 3.2.4; arrêt 5A_34/2017 du 4 mai 2017 consid. 5.1).
3.1.3. Pour apprécier les critères d'attribution des droits parentaux, le juge du fait, qui connaît le mieux les parties et le milieu dans lequel vit l'enfant, dispose d'un large pouvoir d'appréciation (<ref-ruling> consid. 3.2.5 et les références; arrêt 5A_67/2021 précité consid. 2.2). Le Tribunal fédéral ne substituera ainsi qu'avec retenue sa propre appréciation à celle de la juridiction cantonale. Il n'interviendra que si la décision s'écarte sans motif des principes établis par la doctrine et la jurisprudence, lorsque le juge s'est fondé sur des faits qui ne devaient jouer aucun rôle pour la solution du cas d'espèce, ou lorsque, au contraire, il n'a pas tenu compte de circonstances qui auraient impérativement dû être prises en considération (<ref-ruling> consid. 3.2.5 et les références; arrêts 5A_67/2021 précité loc. cit.; 5A_793/2020 précité consid. 5.1.3).
3.2. La Chambre du surveillance a constaté que le recourant était actuellement sans emploi et que cette situation ne pouvait perdurer indéfiniment, compte tenu notamment de son devoir d'entretien à l'égard de son enfant. Il en découlait par ailleurs que la disponibilité dont le recourant faisait état n'était que momentanée. Dans sa motivation, la cour cantonale n'a jamais soutenu que le recourant serait inapte à bénéficier d'un droit aux relations personnelles plus étendu sur son fils ni n'a définitivement exclu une telle possibilité dans le futur. Elle a seulement considéré que la situation du recourant allait très probablement évoluer prochainement, de sorte qu'il apparaissait en l'état prématuré d'instaurer une garde alternée, respectivement d'ajouter une nuit supplémentaire par semaine à l'exercice de son droit de visite actuel. Sur ce point, le recourant soutient certes à juste titre que la diminution de sa disponibilité en raison de la prise probable d'un emploi ne peut lui être opposée dans la mesure où l'intimée travaille elle-même à 100%. Faute d'information sur l'emploi qu'exercera le recourant, sur son lieu et sur ses horaires, il apparaît toutefois effectivement difficile de se prononcer sur sa compatibilité avec une garde alternée. Au même titre, la cour cantonale a mis en exergue les incertitudes liées au logement du recourant qui bénéficie de l'aide de l'Hospice général et réside temporairement dans un studio mis à sa disposition. Le recourant relève certes que ce logement lui a précisément été attribué pour accueillir son fils et qu'il se situe à 3 km de l'école de l'enfant et du domicile de l'intimée. Il ne conteste toutefois aucunement le constat de la Chambre de surveillance selon lequel ce studio ne lui a été attribué que provisoirement et que s'il a été aménagé pour l'enfant, il ne lui permet pas de disposer d'une véritable chambre et d'être confortablement installé. En conséquence, la proximité de son futur logement avec le lieu de vie et l'école de l'enfant et, partant, sa compatibilité avec un droit aux relations personnelles plus étendu est également incertaine et, vu son caractère provisoire, il importe peu de se déterminer sur la distance entre son logement actuel et l'école de l'enfant.
Il suit de ce qui précède que la Chambre de surveillance n'a en définitive pas excédé son pouvoir d'appréciation en considérant qu'en l'état, la situation du recourant tant s'agissant de son logement que sur le plan professionnel n'était pas suffisamment stable pour qu'une modification des modalités de garde de l'enfant apparaisse raisonnable, étant rappelé que des changements trop fréquents en matière de garde sont en principe considérés comme préjudiciables à l'enfant (cf. arrêts 5A_640/2020 du 25 mars 2021 consid. 4; en matière d'effet suspensif: 5A_792/2018 du 6 février 2019 consid. 3.2; 5A_941/2018 du 23 janvier 2019 consid. 5.3.2). En effet, il est vrai que, contrairement à ce que semble soutenir la cour cantonale qui évoque des relations tendues entre les parents et des difficultés dans l'organisation de la prise en charge de leur fils, la capacité de coopération et de communication entre les parties apparaît en l'espèce suffisante pour instaurer une garde alternée dès lors que le droit aux relations personnelles élargi du recourant s'en rapproche déjà grandement. Il n'est en revanche pas dans l'intérêt de l'enfant d'aménager la garde en ce sens pour ensuite la modifier à nouveau en fonction des nouvelles conditions de logement et professionnelles du recourant. Le fait mis en exergue par le recourant que certains des critères d'appréciation prévus par la jurisprudence n'ont à tort pas été examinés par la cour cantonale, à savoir notamment la manière dont les parents s'étaient répartis la prise en charge de l'enfant avant la séparation, ne sont par ailleurs pas susceptibles de modifier cette appréciation.
4.
Le recourant fait grief à la cour cantonale d'avoir arbitrairement mis l'intégralité des frais de la procédure à sa charge. Bien qu'étant la partie succombante devant l'autorité précédente, il estime qu'une partie des frais judiciaires aurait dû incomber à l'intimée compte tenu de leurs situations économiques respectives.
4.1. A teneur de l'art. 106 al. 1, 1 ère phrase, CPC, les frais - qui comprennent les frais judiciaires et les dépens (<ref-law>) - sont mis à la charge de la partie succombante. Lorsqu'aucune des parties n'obtient entièrement gain de cause, les frais sont répartis selon le sort de la cause (<ref-law>). Cette disposition suppose une répartition des frais judiciaires et des dépens en fonction de l'issue du litige comparée avec les conclusions prises par chacune des parties (arrêt 4A_226/2013 du 7 octobre 2013 consid. 6.2, publié in RSPC 2014 p. 19).
Le principe selon lequel les frais doivent être répartis selon l'issue du procès repose sur l'idée que les frais doivent être supportés par celui qui les a occasionnés, étant présumé que c'est la partie qui succombe qui a occasionné les frais (<ref-ruling> consid. 3.3.1). Le tribunal peut toutefois s'écarter de cette règle et répartir les frais selon sa libre appréciation, en statuant selon les règles du droit et de l'équité (<ref-law>), dans les hypothèses prévues par l'<ref-law>, notamment lorsque le litige relève du droit de la famille ou lorsque des circonstances particulières rendent la répartition en fonction du sort de la cause inéquitable (art. 107 al. 1 let. c et f CPC).
La décision sur la répartition des frais relève du pouvoir d'appréciation du juge (<ref-law>; arrêt 4A_345/2018 du 5 novembre 2018 consid. 3 et la référence). Le Tribunal fédéral n'en revoit l'exercice qu'avec retenue. Il n'intervient que si l'autorité cantonale a abusé de son pouvoir d'appréciation, en se référant à des critères dénués de pertinence ou en ne tenant pas compte d'éléments essentiels, ou lorsque la décision, dans son résultat, est manifestement inéquitable ou heurte de manière choquante le sentiment de la justice (<ref-ruling> consid. 5.3.2; <ref-ruling> consid. 9.2).
4.2. En l'occurrence, en mettant l'intégralité des frais judiciaires à la charge du recourant - intimé en deuxième instance - qui avait succombé devant elle, la cour cantonale n'a fait qu'appliquer la règle de l'art. 106 al. 1, 1ère phrase, CPC. Eu égard au large pouvoir d'appréciation dont elle dispose en la matière, le seul fait qu'elle ait renoncé à déroger à cette règle en application de l'<ref-law> ne constitue pas une violation du droit. Le recourant pouvait par ailleurs pallier l'absence alléguée de ressources suffisantes pour s'acquitter des frais mis à sa charge en formant une requête d'assistance judiciaire, de sorte que ce seul fait ne saurait imposer une dérogation de la répartition des frais judiciaires au sens de l'<ref-law>.
5.
En définitive, le recours est rejeté dans la mesure où il est recevable. La requête d'assistance judiciaire est admise, les conditions de l'<ref-law> étant réunies. Les frais judiciaires sont mis à la charge du recourant (<ref-law>) mais provisoirement supportés par la Caisse du Tribunal fédéral. Le recourant est rendu attentif au fait qu'il est tenu de rembourser ultérieurement la Caisse du Tribunal fédéral s'il est en mesure de le faire (<ref-law>). L'octroi de l'assistance judiciaire ne dispense par ailleurs pas le recourant de verser des dépens à l'intimée (<ref-ruling> consid. 2c), qui a été invitée à se déterminer et a obtenu gain de cause (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est admise.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant; ils sont provisoirement supportés par la Caisse du Tribunal fédéral.
4.
Le recourant versera à l'intimée une indemnité de 2'000 fr. à titre de dépens.
5.
Le présent arrêt est communiqué aux parties et à la Chambre de surveillance de la Cour de justice du canton de Genève.
Lausanne, le 3 mars 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand