Citation: 5A_733/2020 E. C

C.a. Par acte du 10 septembre 2020, l'époux interjette un recours en matière civile devant le Tribunal fédéral contre l'arrêt du 13 août 2020. Il conclut principalement à son annulation et au renvoi de la cause à l'autorité cantonale pour complément d'instruction et nouvelle décision et, subsidiairement, à sa réforme en ce sens qu'il contribue à l'entretien des enfants par le versement mensuel, en mains de la mère, d'une pension en faveur de chacun de 600 fr. jusqu'à l'âge de 10 ans, puis de 400 fr., allocations familiales et/ou employeur dues en sus, et que les frais et dépens d'appel soient mis à la charge de l'épouse. L'époux conclut également à ce que les frais et dépens devant le Tribunal fédéral soient mis à la charge de l'épouse et à ce que, subsidiairement, il ne soit pas perçu de frais judiciaires et qu'une indemnité d'office de 3'000 fr. soit accordée à son conseil. L'époux sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale. C.b. Par avis du 13 août 2021, la cour cantonale a indiqué ne pas avoir d'observations à formuler sur le fond du recours. Dans sa réponse du 26 août 2021, l'intimée a conclu au rejet du recours.