Faits :
A.
B._, née en 1983, et A._, né en 1979, se sont mariés le 6 mars 2012 à Genève.
Les enfants C._ (2013) et D._ (2014) sont issus de leur union.
B.
B.a. Le 26 février 2019, l'épouse a déposé une requête de mesures protectrices de l'union conjugale devant le Tribunal de première instance du canton de Genève (ci-après: le Tribunal).
B.b. Statuant sur mesures provisionnelles le 9 août 2019, à la requête des parties, le Tribunal a notamment autorisé les époux à vivre séparés, attribué à l'épouse la jouissance exclusive du domicile conjugal, ordonné à l'époux de quitter le domicile dans un délai de trois semaines dès réception du jugement, attribué la garde exclusive sur les enfants à la mère, réservé au père un droit de visite devant s'exercer à raison d'une journée par semaine, de 10 h à 18 h, le week-end, et renoncé à mettre des contributions d'entretien à la charge de l'une ou l'autre des parties.
B.c. Par jugement du 8 novembre 2019, le Tribunal a notamment autorisé les époux à vivre séparés, attribué à l'épouse la garde exclusive sur les enfants des parties, réservé à l'époux un droit de visite devant s'exercer à raison d'une journée par semaine, de 10 h à 18 h, le week-end, ordonné une mesure de curatelle d'organisation et de surveillance du droit aux relations personnelles, attribué à l'épouse la jouissance exclusive du domicile conjugal, fixé l'entretien convenable de chacun des enfants à 432 fr. par mois, allocations familiales déduites, renoncé à mettre des contributions d'entretien à la charge de l'époux au vu de sa situation financière et prononcé la séparation de biens.
B.d. Par arrêt du 5 mai 2020, expédié le 25 mai 2020, la Chambre civile de la Cour de justice du canton de Genève, statuant sur appel des époux, a notamment déclaré recevable l'appel interjeté le 25 novembre 2019 par l'épouse contre le jugement du 8 novembre 2019, déclaré irrecevable l'appel joint formé le 12 décembre 2019 par l'époux contre ce même jugement, partiellement réformé le jugement entrepris en ce sens qu'elle a condamné l'époux à contribuer à l'entretien des enfants en versant en mains de l'épouse un montant mensuel de 350 fr. par enfant, allocations familiales non comprises, dès le 1er décembre 2019, confirmé le jugement entrepris pour le surplus et statué sur les frais.
C.
Par acte du 25 juin 2020, l'époux interjette un recours en matière civile devant le Tribunal fédéral contre l'arrêt du 5 mai 2020. Sous suite de frais et dépens, il conclut principalement à ce qu'il soit renoncé à mettre des contributions d'entretien à sa charge, compte tenu de sa situation financière. Subsidiairement, il conclut à l'annulation de l'arrêt entrepris et à la confirmation du jugement du 8 novembre 2019 et, plus subsidiairement, au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire et l'octroi de l'effet suspensif au recours.
Invitée à se déterminer, l'autorité cantonale a déclaré le 30 juin 2020 qu'elle s'en rapportait à justice quant à l'octroi de l'effet suspensif et qu'elle se référait aux considérants de son arrêt quant au fond.
Par acte du 9 juillet 2020, l'intimée, également invitée à se déterminer, a déposé une réponse comprenant une détermination sur la requête d'effet suspensif. Elle s'en est remise à justice quant à la recevabilité du recours et à la requête d'effet suspensif en relation avec l'arriéré de contributions d'entretien, a conclu au rejet s'agissant de la requête d'effet suspensif relative aux contributions d'entretien à venir et au rejet du recours du 25 juin 2020, sous suite de frais et dépens. Elle a également requis le bénéfice de l'assistance judiciaire.
Par ordonnance du 14 juillet 2020, la Juge présidant la Cour de céans a admis la requête d'effet suspensif pour les arriérés de contributions d'entretien et l'a refusée pour les pensions courantes, à savoir celles dues dès le 1er juillet 2020, les frais et dépens de l'ordonnance suivant le sort de la cause.

Considérant en droit :
1.
Déposé en temps utile (art. 100 al. 1 LTF) et dans la forme légale (art. 42 al. 1 LTF), le recours est dirigé contre une décision finale (art. 90 LTF; <ref-ruling> consid. 4) prise sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire matrimoniale (art. 72 al. 1 LTF; <ref-ruling> consid. 2) de nature pécuniaire, dont la valeur litigieuse requise est atteinte (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable au regard des dispositions qui précèdent.
2.
2.1. Comme la décision attaquée porte sur des mesures provisionnelles au sens de l'art. 98 LTF (<ref-ruling> consid. 1.1; <ref-ruling> consid. 5, 585 consid. 3.3), la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation "; art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le recourant ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4 et la référence).
En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (ATF 44 I 170 consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1, 170 consid. 7.3; <ref-ruling> consid. 4.3).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Dans l'hypothèse d'un recours soumis à l'art. 98 LTF, le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.1 et la référence). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
3.
Se référant aux art. 176, 276 et 285 CC, le recourant reproche à l'autorité cantonale de lui avoir arbitrairement imputé un revenu hypothétique et soulève également un grief d'établissement arbitraire des faits (art. 9 Cst.).
3.1. Dans l'arrêt entrepris, la juridiction précédente a retenu que l'époux, âgé de 41 ans, était en bonne santé. Il avait suivi une formation de coiffure et un apprentissage de soudeur et bénéficiait de plusieurs années d'expérience dans le domaine de la restauration. Sans emploi depuis le retour de la famille à Genève, il ne réalisait aucun revenu et n'avait perçu aucune indemnité de l'assurance-chômage. Cela étant, contrairement à ce qu'il soutenait, il n'avait pas entrepris toutes les démarches que l'on pouvait attendre de lui pour trouver un emploi. Il n'avait produit aucune pièce pour démontrer qu'il recherchait activement et de manière régulière un emploi à temps complet afin de mettre à profit sa capacité contributive et de lui permettre de faire face à ses charges ainsi qu'à celles de ses enfants. Il n'alléguait pour le surplus pas avoir entrepris des formations ou des démarches au sein de l'Office cantonal de l'emploi, comme suggéré par le Tribunal, pour maximiser ses chances de retrouver un travail. Il ne prouvait enfin pas avoir postulé auprès de divers employeurs de manière informelle, notamment auprès de restaurateurs. Pour la cour cantonale, l'ensemble de ces circonstances permettait de retenir que l'époux était effectivement en mesure de retrouver un emploi. Il lui incombait par conséquent de fournir les efforts nécessaires pour reprendre une activité professionnelle et faire face à ses obligations d'entretien, ce d'autant plus que son épouse avait perdu son emploi à la fin du mois d'octobre 2019. Toujours selon les juges cantonaux, bien qu'il ne soit titulaire d'aucune formation professionnelle dans le domaine de la restauration, rien n'empêchait l'époux de rechercher du travail dans ce même domaine, compte tenu de l'expérience acquise, voire dans d'autres domaines ne nécessitant pas de formation professionnelle particulière, par exemple en tant qu'aide-cuisine ou nettoyeur. Selon le calculateur national de salaires, le salaire médian mensuel pour un aide-cuisine ou un nettoyeur dans le domaine de l'hébergement et de la restauration, à temps complet et sans qualification, était d'environ 3'960 fr. bruts à Genève, soit environ 3'360 fr. nets, montant qui correspondait d'ailleurs à peu près au revenu que l'époux avait allégué percevoir lorsqu'il travaillait dans la restauration. La cour cantonale a au final estimé qu'il se justifiait d'imputer à l'époux un revenu hypothétique de 3'360 fr. à compter du 1er décembre 2019, dès lors qu'il avait volontairement renoncé à exercer une activité lucrative et qu'il savait que son épouse avait perdu son emploi en tous les cas depuis que l'acte d'appel de cette dernière lui avait été notifié le 2 décembre 2019. Compte tenu de charges à hauteur de 2'591 fr. par mois, l'époux bénéficiait ainsi, depuis le 1er décembre 2019, d'un solde disponible d'environ 770 fr. par mois.
3.2. Le recourant s'en prend tout d'abord au principe de l'imputation d'un revenu hypothétique tel qu'admis par l'autorité de deuxième instance. Il fait valoir qu'il aurait postulé auprès de divers restaurants, en vain, ce dont l'autorité précédente aurait eu connaissance. Selon le recourant, la juridiction cantonale n'était pas non plus sans savoir qu'en raison de la pandémie COVID-19, le marché du travail, en particulier dans les domaines de la restauration et de la coiffure, était relativement restreint, de sorte qu'il était quasiment inconcevable d'obtenir un emploi dans ces conditions. Le recourant soutient en outre avoir vu ses conditions de vie péjorées en raison de son expulsion du domicile conjugal par l'intimée.
En l'espèce, c'est de manière purement appellatoire que le recourant s'en prend à la motivation cantonale en tant qu'elle retient qu'il n'aurait pas entrepris toutes les démarches que l'on pouvait attendre de lui pour trouver un emploi. A cet égard, il se contente en effet d'affirmer qu'il aurait effectué diverses postulations, sans toutefois expliquer en quoi il aurait apporté la démonstration de ce fait ni en quoi l'autorité cantonale n'en aurait arbitrairement pas tenu compte. C'est également de façon appellatoire que le recourant appuie son argumentation sur une situation prétendument catastrophique du marché du travail en période de pandémie, dès lors notamment qu'il ne soutient pas qu'il s'agirait d'un fait notoire ou dont il aurait apporté la preuve en procédure et qu'il n'explique pas en quoi cette situation serait temporellement pertinente dans le cas d'espèce. Par ailleurs, sa prétendue expulsion du domicile conjugal par l'intimée, dont il entend tirer argument, n'est pas déterminante, dès lors qu'elle ne saurait de toute manière suffire à le dispenser de son obligation de fournir les efforts nécessaires pour améliorer sa situation financière. Cela est d'autant plus valable que, selon la jurisprudence, l'exploitation de la capacité de gain du parent débiteur est soumise à des exigences particulièrement élevées en relation avec la prestation de contributions d'entretien en faveur de l'enfant mineur, en particulier lorsque - comme en l'espèce - la situation financière est modeste (<ref-ruling> consid. 3.1; arrêts 5A_11/2018 du 28 juin 2018 consid. 3.3.1; 5A_47/2017 du 6 novembre 2017 consid. 8.2 non publié in <ref-ruling>). Il s'ensuit qu'en tant que les contestations du recourant relatives à l'imputation d'un revenu hypothétique reposent sur des faits dont il ne démontre pas qu'ils auraient été arbitrairement établis, respectivement ignorés, par la cour cantonale, elles sont irrecevables, faute de motivation appropriée (cf. supra consid. 2.2).
3.3. Dans un deuxième temps, le recourant fait grief à la cour cantonale de ne pas lui avoir laissé de délai d'adaptation pour retrouver un emploi, ce qui, selon lui, aurait été d'autant plus justifié en cas de situation de pandémie affectant le marché du travail. Le recourant soutient que cette absence de délai le condamnerait de facto au versement rétroactif de sept mois de contributions d'entretien, ce qui conduirait à un résultat arbitraire.
A nouveau, le recourant appuie son argumentation sur une prétendue mauvaise situation du marché du travail, soit un élément de fait, sans toutefois former de grief suffisant sur ce point (cf. supra consid. 3.2). Par ailleurs, en guise de motivation relative au point qu'il conteste, à savoir l'absence de délai d'adaptation, le recourant se contente de citer les motifs de l'autorité cantonale et ne développe pas sa critique à leur égard, si ce n'est sous l'angle du caractère - selon lui - arbitraire du résultat. La motivation de la cour cantonale n'étant pas valablement discutée, la critique du recourant est, partant, irrecevable (cf. supra consid. 2.1).
4.
En définitive, le recours est irrecevable, faute de motivation répondant aux réquisits en la matière (cf. supra consid. 2). Le recours étant d'emblée voué à l'échec, la requête d'assistance judiciaire du recourant ne saurait être agréée (art. 64 al. 1 LTF). Autant qu'elle n'est pas sans objet, la requête d'assistance judiciaire de l'intimée est en revanche admise (art. 64 al. 1 LTF). Les frais judiciaires sont mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Une indemnité de 2'000 fr., à verser à l'intimée à titre de dépens, est mise à la charge du recourant (art. 68 al. 1 et 2 LTF); au cas où les dépens ne pourraient pas être recouvrés, la Caisse du Tribunal fédéral versera au conseil de l'intimée une indemnité de 1'800 fr. à titre d'honoraires de conseil d'office (art. 64 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Autant qu'elle n'est pas sans objet, la requête d'assistance judiciaire de l'intimée est admise et Me Virginie Jordan, avocate à Genève, lui est désignée comme conseil d'office.
4.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
5.
Une indemnité de 2'000 fr., à verser à l'intimée à titre de dépens, est mise à la charge du recourant (art. 68 al. 1 et 2 LTF); au cas où les dépens ne pourraient pas être recouvrés, la Caisse du Tribunal fédéral versera au conseil de l'intimée une indemnité de 1'800 fr. à titre d'honoraires de conseil d'office.
6.
Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 4 février 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gudit