Faits : A. A.a. B._, née C._ le 25 janvier 1988, et A._, né le 24 septembre 1987, tous deux originaires de Lausanne (VD), se sont mariés le 17 juillet 2007 à U._ (Ethiopie). Trois enfants sont issues de cette union, à savoir D._, née le 3 mai 2020, E._, née le 4 juillet 2011, et F._, née le 17 novembre 2019. A.b. Le 17 juin 2019, l'épouse - alors enceinte du troisième enfant - a saisi la Présidente du Tribunal civil de l'arrondissement de Lausanne (ci-après: Présidente ou première juge) d'une requête de mesures protectrices de l'union conjugale avec requête de mesures superprovisionnelles au pied de laquelle elle a notamment conclu, à titre de mesures superprovisionnelles, à ce qu'il soit donné ordre à son mari de quitter immédiatement le domicile conjugal, à ce que le droit de visite de celui-ci sur ses filles D._ et E._ soit provisoirement suspendu et à ce qu'il soit astreint à contribuer à l'entretien de ses filles par un versement unique de 2'000 fr., à valoir sur les contributions d'entretien à fixer après l'audience de mesures protectrices de l'union conjugale. Par voie de mesures protectrices de l' union conjugale, elle a conclu notamment à ce que les époux soient autorisés à vivre séparés pour une durée indéterminée, à ce que la garde et le droit de déterminer la résidence habituelle des enfants D._ et E._ lui soient confiés, à ce que le père bénéficie sur ses filles D._ et E._ d'un droit de visite à exercer selon des modalités à préciser en cours d'instance, à ce que l'entretien convenable de D._ et E._ soit arrêté à, respectivement, 1'067 fr. 85 (soit 532 fr. 45 de coûts directs et 535 fr. 40 de contribution de prise en charge) et à 1'065 fr. 15 (soit 529 fr. 75 de coûts directs et 535 fr. 40 de contribution de prise en charge), après déduction des allocations familiales, à ce qu'il contribue à l'entretien de ses filles D._ et E._ par le versement, dès le 1 er juin 2019, d'une pension mensuelle de 1'100 fr. chacune, allocations familiales non comprises et dues en sus, et à son propre entretien par le versement, dès le 1 er juin 2019, d'une pension mensuelle d'un montant à préciser en cours d'instance mais d'au moins 500 fr. A.c. Par ordonnance de mesures superprovisionnelles du 18 juin 2019, la Présidente a notamment ordonné à A._ de quitter immédiatement le domicile conjugal après avoir emporté quelques effets personnels indispensables (I) et a suspendu provisoirement son droit de visite sur ses enfants D._ et E._ jusqu'à droit connu sur la requête de mesures protectrices de l'union conjugale (IV). Par ordonnance complémentaire de mesures superprovisionnelles du 20 juin 2019, la P résidente a notamment astreint A._ à contribuer à l'entretien des enfants D._ et E._ par un versement unique de 2'000 fr. en mains de leur mère dans un délai de cinq jours, à valoir sur les contributions d'entretien à fixer ensuite de l'audience de mesures protectrices de l'union conjugale à intervenir. A.d. Par ordonnance de mesures superprovisionnelles du 16 juillet 2019, la première juge a en particulier astreint le père à contribuer à l'entretien des enfants D._ et E._ par le régulier versement, dès et y compris le 1 er juillet 2019, d'une pension mensuelle de 1'100 fr. par enfant (I) et à contribuer à l'entretien de son épouse par le régulier versement d'une pension mensuelle de 300 fr. (II). A.e. Lors de l'audience de mesures protectrices de l'union conjugale du 10 septembre 2019, les parties ont signé une convention partielle, ratifiée sur le siège par la Présidente pour valoir ordonnance partielle de mesures protectrices de l'union conjugale. Les parties se sont entendues sur des questions qui ne sont plus litigieuses devant la Cour de céans, à savoir notamment l'attribution à la mère de la jouissance du domicile conjugal et de la garde sur les enfants, sur les modalités d'exercice du droit de visite du père ainsi que sur le montant de l'entretien convenable des enfants. A.f. Par ordonnance de mesures protectrices de l'union conjugale du 18 octobre 2019, la Présidente a notamment rappelé le contenu de la convention partielle signée par les parties le 10 septembre 2019 et ratifiée pour valoir ordonnance partielle de mesures protectrices de l'union conjugale (I), astreint l'époux au paiement d'une contribution à l'entretien de ses filles D._ et E._ d'un montant de 767 fr. par enfant pour le mois de juin 2019, d'un montant de 972 fr. 50 par enfant pour le mois de juillet 2019, d'un montant de 645 fr. par enfant pour le mois d'août 2019 et d'un montant de 370 fr. par enfant dès le 1 er septembre 2019, éventuelles allocations familiales dues en sus, sous déduction des montants d'ores et déjà versés (III à VI) et a dit qu'aucune contribution d'entretien n'était due entre les époux (VII). B. B.a. Par acte du 31 octobre 2019, A._ a interjeté appel contre cette dernière ordonnance, concluant à sa réforme en ce sens notamment qu'il soit astreint à contribuer à l'entretien de ses filles D._ et E._ à hauteur de 724 fr. par enfant pour le mois de juin 2019 et de 463 fr. par enfant pour le mois d'août 2019, et qu'il soit libéré de toute contribution à leur entretien pour le mois de juillet 2019 ainsi qu'à compter du 1 er septembre 2019. B.b. Dans sa réponse du 25 novembre 2019, l'épouse a informé la Juge déléguée de la Cour d'appel civile du Tribunal cantonal du canton de Vaud (ci-après: Juge déléguée) qu'elle avait donné naissance, le 17 novembre 2019, à l'enfant F._. Elle a ainsi conclu au rejet de l'appel et, reconventionnellement, à ce que l'ordonnance entreprise soit complétée et réformée en ce sens notamment que le montant assurant l'entretien convenable des enfants D._, E._et F._ soit arrêté à, respectivement, 817 fr. 95, 815 fr. 25 et 674 fr., allocations familiales par 300 fr. déduites, à ce que le père soit astreint à contribuer à l'entretien de ses filles D._ et E._ par le versement d'une contribution mensuelle de 370 fr. par enfant pour la période du 1 er septembre 2019 au 30 novembre 2019, éventuelles allocations familiales en sus, puis qu'il soit astreint à contribuer à l'entretien de ses filles D._, E._ et F._ par le versement d'une pension mensuelle de 247 fr. par enfant à compter du 1 er décembre 2019, éventuelles allocations familiales en sus. Par déterminations du 30 janvier 2020, A._ a conclu au rejet des conclusionsen entretien des enfants formulées par son épouse. B.c. Par arrêt du 16 mars 2020, la Juge déléguée a très partiellement admis l'appel formé par A._ et a partiellement admis les conclusions nouvelles formées par B._. Elle a réformé l'ordonnance du 18 octobre 2019 en ce sens notamment qu'elle a arrêté le montant des contributions d'entretien dues par le père, par mois et par enfant, hors allocations familiales et payables d'avance le premier de chaque mois en faveur de ses deux filles aînées pour les mois de juin à novembre 2019 et de ses trois filles à compter du mois de décembre 2019, à 767 fr. pour juin 2019, 972 fr. 50 pour juillet 2019, 645 fr. pour août 2019, 267 fr, pour septembre, octobre et novembre 2019, 178 fr. pour décembre 2019 et 432 fr. à compter du 1er janvier 2020. C. Par acte du 19 mai 2020, A._ exerce un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement à sa réforme en ce sens qu'aucune contribution n'est due à l'entretien de ses filles dès et y compris le 1er septembre 2020 (sic). Subsidiairement, il sollicite le renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants. Pour le surplus, il conclut à l'octroi de l'assistance judiciaire pour la procédure fédérale. Des déterminations n'ont pas été requises.