Sachverhalt:
A.
A.a. B._ (geb. 1994; Beschwerdegegnerin) und A._ (geb. 1994; Beschwerdeführer) heirateten am 8. Mai 2018. Seit dem 1. Oktober 2018 leben die Eheleute getrennt und am 17. Mai 2019 kam der gemeinsame Sohn C._ zur Welt.
A.b. Bereits am 18. Januar 2019 hatte B._ das Richteramt U._ um die Regelung des Getrenntlebens ersucht. Mit Urteil vom 7. Oktober 2019 stellte das Richteramt soweit hier interessierend C._ unter die Obhut der Mutter und regelte für den Fall, dass die Eheleute sich nicht einigen können, den persönlichen Verkehr zwischen Vater und Sohn. Weiter traf es hinsichtlich des Ehegatten- und Kindesunterhalts folgende Regelung:
"4. [A._] hat [B._] monatlich vorauszahlbare Unterhaltsbeiträge wie folgt zu bezahlen:
- ab 1. Oktober 2018 bis und mit 31. Dezember 2018: CHF 2'090.00
- ab 1. Januar 2019 bis und mit 30. April 2019: CHF 1'030.00
- ab 1. August 2031 bis und mit 30. April 2035: CHF 228.00
- ab 1. Mai 2035 bis und mit 31. Mai 2037: CHF 324.00
5. [A._] hat [B._] für C._ [...] monatlich vorauszahlbare Unterhaltsbeiträge wie folgt zu bezahlen:
- ab 1. Mai 2019 bis und mit 31. Juli 2023: CHF 1'928.00
(wovon CHF 421.00 Bar- und CHF 1'507.00 Betreuungsunterhalt)
- ab 1. August 2023 bis und mit 30. April 2029: CHF 1'670.00
(wovon CHF 427.00 Bar- und CHF 1'243.00 Betreuungsunterhalt)
- ab 1. Mai 2029 bis und mit 31. Juli 2031: CHF 1'816.00
(wovon CHF 621.00 Bar- und CHF 1'195.00 Betreuungsunterhalt)
- ab 1. August 2031 bis und mit 30. April 2035: CHF 1'162.00
(wovon CHF 735.00 Bar- und CHF 427.00 Betreuungsunterhalt)
- ab 1. Mai 2035 bis und mit 31. Mai 2037: CHF 793.00
(Barunterhalt)
Die Kinder- und Ausbildungszulagen sind zusätzlich geschuldet.
Die Unterhaltsverpflichtung gegenüber C._ [...] dauert bis zu dessen wirtschaftlicher Selbständigkeit, längstens jedoch bis zur Volljährigkeit.
6. Mit den in Ziffer 5 hiervor festgelegten Unterhaltsbeiträgen ist der gebührende Bedarf von C._ [...] in folgendem Umfang nicht gedeckt:
- ab 1. Mai 2019 bis und mit 31. Juli 2023: CHF 1'022.00
(Betreuungsunterhalt)."
B.
Das Obergericht des Kantons Solothurn hiess die hiergegen von A._ im Unterhaltspunkt eingereichte Berufung mit Urteil vom 6. Mai 2020 (eröffnet am 8. Mai 2020) teilweise gut (Dispositivziffer 1) und setzte den von diesem monatlich zu bezahlenden Kindesunterhalt vom 1. Mai 2019 bis und mit 30. Juni 2020 auf Fr. 928.-- (wovon Fr. 421.-- Bar- und Fr. 507.-- Betreuungsunterhalt) fest (Dispositivziffer 2 und 3). Weitergehend wies das Obergericht die Berufung ab (Dispositivziffer 4). Die Kosten des Berufungsverfahrens auferlegte es den Eheleuten je zur Hälfte und die Parteikosten schlug es wett. Beiden Eheleuten gewährte es ausserdem das Recht auf unentgeltliche Rechtspflege und Verbeiständung (Dispositivziffer 5 und 6).
C.
Mit Beschwerde in Zivilsachen vom 8. Juni 2020 gelangt A._ ans Bundesgericht und stellt die folgenden Anträge:
"1. Es sei das Urteil der Vorinstanz in seinen Ziffern 3. bis und mit 5. aufzuheben und [es sei die Sache] zur erneuten Entscheidung unter Berücksichtigung des vollständigen rechtserheblichen Sachverhalts zurückzuweisen.
2. Eventualiter seien die geschuldeten Unterhaltsbeiträge gemäss Ziff. 3 des vorinstanzlichen Urteils auf Grundlage des [von A._] tatsächlich erzielten Einkommens zu berechnen und wie folgt festzulegen und die Vorinstanz anzuweisen, das erstinstanzliche Urteil in seiner Ziffer 4. wie folgt abzuändern:
[A._] hat [B._] monatlich vorauszahlbare Unterhaltsbeiträge wie folgt zu bezahlen:
- ab 1. August 2031 bis und mit 30. April 2035: CHF 0.00
- ab 1. Mai 2035 bis und mit 31. Mai 2037: CHF 0.00
sowie in seiner Ziffer 5. wie folgt abzuändern:
- ab 1. Mai 2019 bis und mit 31. Juli 2023: CHF 928.00
(wovon CHF 421.00 Bar- und CHF 507.00 Betreuungsunterhalt)
- ab 1. August 2023 bis und mit 30. April 2029: CHF 670.00
(wovon CHF 427.00 Bar- und CHF 243.00 Betreuungsunterhalt)
- ab 1. Mai 2029 bis und mit 31. Juli 2031: CHF 816.00
(wovon CHF 621.00 Bar- und CHF 195.00 Betreuungsunterhalt)
- ab 1. August 2013 bis und mit 30. April 2035: CHF 162.00
- ab 1. Mai 2035 bis und mit 31. Mai 2037: CHF 0.00
3. Es sei [B._] zur Leistung eines Beitrags an die Partei- und Prozesskosten [von A._] in der Höhe von einstweilen Fr. 5'000.-- zu verpflichten.
4. Eventualiter stelle ich die Gesuche:
4.1. Es sei [A._] die unentgeltliche Rechtspflege zu bewilligen und auf die Erhebung eines Kostenvorschusses zu verzichten.
4.2. Es sei [A._] für das Beschwerdeverfahren vor Bundesgericht ein unentgeltlicher Rechtsbeistand in der Person des unterzeichnenden Rechtsanwalts zur Seite zu stellen.
2. [Kostenfolgen]
3. Der vorliegenden Beschwerde sei die aufschiebende Wirkung zu gewähren. Es sei jedenfalls die Vollstreckbarkeit der angefochtenen vorinstanzlichen Anordnungen bis zum Entscheid über die Beschwerde im Sinne einer vorsorglichen Massnahme auszusetzen."
Nach Anhörung der weiteren Verfahrensbeteiligten - auch B._ ersucht dabei für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege und Verbeiständung - hat der Präsident der II. zivilrechtlichen Abteilung das Gesuch um aufschiebende Wirkung mit Verfügung vom 25. Juni 2020 abgewiesen.
Im Übrigen hat das Bundesgericht die Akten des kantonalen Verfahrens, indes keine Vernehmlassungen in der Sache eingeholt.

Erwägungen:
1.
1.1. Angefochten ist ein Endentscheid (<ref-law>) eines oberen kantonalen Gerichts, das als Rechtsmittelinstanz (<ref-law>) über Massnahmen zum Schutz der ehelichen Gemeinschaft (Kindes- und Ehegattenunterhalt) entschieden hat. Im Streit steht damit eine vermögensrechtliche Zivilsache nach <ref-law>. Der erforderliche Streitwert von Fr. 30'000.-- ist erreicht (Art. 74 Abs. 1 Bst. b, Art. 51 Abs. 1 Bst. a und Abs. 4 BGG). Die Beschwerde in Zivilsachen ist das zutreffende Rechtsmittel. Der Beschwerdeführer ist nach <ref-law> grundsätzlich zur Beschwerde berechtigt (vgl. aber sogleich E. 1.2), die er auch fristgerecht eingereicht hat (Art. 100 Abs. 1 und Art. 45 Abs. 1 BGG). Auf die Beschwerde ist unter Vorbehalt der nachfolgenden Ausführungen einzutreten.
1.2. Nicht einzutreten ist auf die Beschwerde insoweit, als der Beschwerdeführer einzig beantragt, was die Vorinstanz ihm bereits zugesprochen hat. Insoweit fehlt es ihm an einem rechtlich geschützten Interesse an der Beschwerdeführung (<ref-law>; Urteil 5A_749/2009 vom 15. Januar 2010 E. 3; vgl. auch Urteil 8C_521/2018 vom 20. September 2018 E. 2). Dies betrifft den Kindesunterhalt zwischen dem 1. Mai 2019 und dem 30. Juni 2020 (vgl. vorne Bst. B und C).
1.3. Ebenfalls nicht einzutreten ist auf das Gesuch des Beschwerdeführers um Ausrichtung eines Beitrages der Ehefrau an die Kosten des bundesgerichtlichen Verfahrens (Rechtsbegehren Ziffer 3). Das Bundesgericht ist zur Behandlung dieses Gesuchs (funktionell) nicht zuständig. Vielmehr hätte es bei dem für Massnahmen zum Schutz der ehelichen Gemeinschaft zuständigen Gericht eingereicht werden müssen (vgl. betreffend Prozesskostenvorschuss Urteil 5A_841/2018 und 5A_843/2018 vom 12. Februar 2020 E. 2.3.2).
1.4. Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Hiervon erfasst sind unechte Noven, also Tatsachen, die im bisherigen Verfahren bereits hätten vorgebracht werden können, aber nicht vorgebracht wurden. Echte Noven, d.h. Tatsachen, die erst entstanden sind, nachdem vor der Vorinstanz keine neuen Tatsachen und Beweismittel mehr vorgetragen werden konnten, sind im Verfahren vor Bundesgericht demgegenüber grundsätzlich unbeachtlich (<ref-ruling> E. 1.2; <ref-ruling> E. 3.1.2). Nicht weiter zu berücksichtigen ist daher der Verweis des Beschwerdeführers auf aktuelle Lohnbelege.
2.
Eheschutzentscheide unterstehen <ref-law> (<ref-ruling> E. 5), weshalb nur die Verletzung verfassungsmässiger Rechte gerügt werden kann. Auch eine Berichtigung oder Ergänzung der vorinstanzlichen Sachverhaltsfeststellungen kommt nur in Frage, wenn die kantonale Instanz solche Rechte verletzt hat (<ref-ruling> E. 4.1). Es gilt das strenge Rügeprinzip nach <ref-law>. Die rechtsuchende Partei muss daher klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darlegen, inwiefern ein verfassungsmässiges Recht verletzt worden sein soll. Auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 1.3; <ref-ruling> E. 2.3 S. 266). Wird eine Verletzung des Willkürverbots nach <ref-law> geltend gemacht (vgl. zu diesem <ref-ruling> E. 4.4; <ref-ruling> E. 2.1), reicht es nicht aus, die Lage aus der eigenen Sicht darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen. Es ist im Einzelnen darzutun, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.4.1; <ref-ruling> E. 2.2).
3.
Bereits im vorinstanzlichen Verfahren war allein noch die Festsetzung der vom Beschwerdeführer geschuldeten Ehegatten- und Kindesunterhaltsbeiträge umstritten (vgl. vorne Bst. B). Vor Bundesgericht bringt der Beschwerdeführer diesbezüglich vor, die Vorinstanz habe bei der Bestimmung des ihm angerechneten Einkommens mehrfach Verfassungsrecht verletzt.
Zum Einkommen des Ehemanns hielt die Vorinstanz fest, dieser sei gelernter Betriebsmechaniker, habe bis im Frühling 2018"auf diesem Beruf" gearbeitet und einen versicherten Monatsverdienst von Fr. 5'814.-- erzielt. Seit Juni 2018 beziehe der Beschwerdeführer ein Arbeitslosentaggeld und habe daneben mit befristeten Arbeitseinsätzen einen Zwischenverdienst in stets wechselnder Höhe verdient. Seit Mai 2019 schulde der Beschwerdeführer Kindesunterhaltsbeiträge und betrage das durchschnittliche Nettoeinkommen aus der Arbeitslosenversicherung (ALV) Fr. 4'281.-- im Monat. Spätestens seit Juni 2019 sei er sodann "über ein Temporärbüro" bei der D._ AG im Schichtbetrieb als ungelernter Mitarbeiter tätigt. Hierbei erziele er einen monatlichen Bruttoverdienst von durchschnittlich Fr. 4'362.80 im Monat. Unter diesen Umständen könne keine Rede davon sein, der Beschwerdeführer würde sein Erwerbspotential ausschöpfen. Ein gelernter Betriebsmechaniker in der Situation des Beschwerdeführers könne in der Region Espace Mittelland einen durchschnittlichen Verdienst von monatlich Fr. 5'566.-- erzielen. In der Folge rechnete die Vorinstanz dem Beschwerdeführer ein hypothetisches Einkommen an. Er sei 25 Jahre alt und es sei ihm ohne Weiteres zumutbar, wieder eine Anstellung in seinem erlernten Beruf zu finden. Dies sei ihm auch möglich, wie ein Blick auf die einschlägigen Stellenportale zeige. Zudem verfüge der noch junge Beschwerdeführer über einschlägige Berufserfahrung. Damit sollte er sein Einkommen innert nützlicher Frist wieder auf das frühere Niveau steigern können. Unter Berücksichtigung einer minimalen Übergangsfrist von einem Monat seit Geburt des Sohnes werde dem Beschwerdeführer daher ab Juni 2020 ein hypothetisches Einkommen von monatlich Fr. 5'000.-- angerechnet.
4.
4.1. Der Beschwerdeführer wirft dem Obergericht vor, bei der Einkommensfestsetzung den Anspruch auf rechtliches Gehör (<ref-law>) verletzt, den Sachverhalt willkürlich festgestellt (<ref-law>) und eine Rechtsverweigerung (<ref-law>) begangen zu haben. Es habe nicht berücksichtigt, dass er, der Beschwerdeführer, sich in der Vergangenheit intensiv um eine besser bezahlte Anstellung bemüht, auf seine Bewerbungen jedoch stets Absagen erhalten habe. Ab Juni 2018 sei er bei der Regionalen Arbeitsvermittlung (RAV) gemeldet und verpflichtet gewesen, seine Arbeitsbemühungen regelmässig nachzuweisen, was er auch getan habe. Die dergestalt dokumentierten Suchbemühungen habe er im erstinstanzlichen Verfahren eingereicht. Teilweise sei er aufgrund der Zwischenverdienste von den Suchbemühungen auch dispensiert gewesen. Trotz des expliziten Hinweises auf die bei den Akten liegenden Belege in der Berufung habe das Obergericht diese nicht berücksichtigt. Der Hinweis, das Berufungsgericht müsse die Unterlagen nicht in den Akten suchen, sei willkürlich. Auch später habe der Beschwerdeführer seine Suchbemühungen fortgesetzt und auf Mai 2020 eine Anstellung zu einem Nettoentgelt von Fr. 3'849.75 gefunden. Es sei ihm daher nachweislich nicht möglich, ein Einkommen in der Höhe des angerechneten hypothetischen Einkommens zu erzielen, was die Vorinstanz hätte berücksichtigen müssen.
4.2. Bei der Bemessung des Unterhaltsbeitrags ist grundsätzlich vom tatsächlich erzielten Einkommen der Parteien auszugehen. Soweit dieses Einkommen allerdings nicht ausreicht, um den ausgewiesenen Bedarf zu decken, kann ihnen nach der für alle Matrimonialsachen geltenden Rechtsprechung ein hypothetisches Einkommen angerechnet werden, sofern dieses zu erzielen zumutbar und möglich ist. Mit Bezug auf das hypothetische Einkommen ist Rechtsfrage, welche Tätigkeit aufzunehmen als zumutbar erscheint. Tatfrage bildet hingegen, ob die Ausübung der als zumutbar erkannten Tätigkeit möglich und das angenommene Einkommen effektiv erzielbar ist (<ref-ruling> E. 3.2; <ref-ruling> E. 2.3). Die Unmöglichkeit, ein bestimmtes Einkommen zu erzielen, kann eine Partei rechtsprechungsgemäss insbesondere durch den Nachweis ernsthafter vergeblicher Suchbemühungen und die Darlegung der Erfahrungswerte erbringen, welche die fehlende Möglichkeit einer entsprechenden Anstellung aufzeigen (vgl. betreffend Abänderung der Unterhaltspflicht Urteile 5A_928/2016 vom 22. Juni 2017 E. 3.3; 5A_129/2015 vom 22. Juni 2016 E. 5.4.2, in: FamPra.ch 2016 S. 990; vgl. auch Urteil 5A_96/2016 vom 18. November 2015 E. 3.1).
4.3. Das Obergericht ging auf das Vorbringen des Beschwerdeführers zu seinen Suchbemühungen nicht ein, da dieses nicht hinreichend belegt und begründet sei. Ein blosser Hinweis auf die erstinstanzlichen Akten reiche nicht aus. Es sei nicht Sache des Berufungsgerichts, die Akten nach den entsprechenden Belegen zu durchsuchen, was auch im Anwendungsbereich der uneingeschränkten Untersuchungsmaxime gelte.
Die Berufung ist gemäss <ref-law> zu begründen. Es ist daher aufzuzeigen, inwiefern der angefochtene Entscheid als fehlerhaft erachtet wird. Dieser Anforderung genügt eine Partei nicht, wenn sie lediglich auf die vor erster Instanz vorgetragenen Vorbringen verweist, sich mit Hinweisen auf frühere Prozesshandlungen zufrieden gibt oder den angefochtenen Entscheid in allgemeiner Weise kritisiert. Die Begründung muss hinreichend genau und eindeutig sein, um von der Berufungsinstanz mühelos verstanden werden zu können. Dies setzt voraus, dass die Partei im Einzelnen die vorinstanzlichen Erwägungen bezeichnet, die sie anficht, und die Aktenstücke nennt, auf denen ihre Kritik beruht (<ref-ruling> E. 2.3.3; jüngst etwa Urteile 5A_356/2020 vom 9. Juli 2020 E. 3.2; 5A_690/2019 vom 23. Juni 2019 E. 7.2). Damit ist nicht zu beanstanden, dass die Vorinstanz auf eine genaue Bezeichnung der angesprochenen Aktenstellen bestanden hat. Dass der Beschwerdeführer die Berufung im konkreten Fall abweichend von der Einschätzung des Obergerichts hinreichend begründet hätte, zeigt er vor Bundesgericht sodann nicht präzise genug auf (vgl. auch vorne E. 2) : Zwar reicht er die "Nachweise der persönlichen Arbeitsbemühungen" der RAV zu den Akten (Beschwerdebeilage 3). Er beschränkt sich jedoch auf das Vorbringen, er habe diese Nachweise in das erstinstanzliche Verfahren eingeführt und in der Berufung "explizit" darauf verwiesen. Damit zeigt er nicht unter genauem Hinweis auf die Akten auf, wo sich die entsprechenden Eingaben und Ausführungen finden. Es ist nach der Rechtsprechung indes (auch) nicht Aufgabe des Bundesgerichts, die Akten nach den einschlägigen Belegen zu durchforsten. Vielmehr sind in der Beschwerde die einschlägigen Aktenverweise anzugeben (statt vieler: Urteile 4A_533/2019 vom 22. April 2020 E. 4.5; 6B_582/2019 vom 24. September 2019 E. 2.3; 5A_30/2019 vom 8. Mai 2019 E. 4.2). Damit erweist sich die Beschwerde in diesem Punkt als ungenügend begründet.
4.4. Die aufgezeigten Anforderungen an die Begründung einer Berufungsschrift gelten auch im Anwendungsbereich der uneingeschränkten Untersuchungsmaxime nach <ref-law>, wie sie soweit den Kindesunterhalt betreffend zur Anwendung gelangt (<ref-ruling> E. 4.3.1). Entsprechend durfte das Obergericht auch hier ohne Willkür auf genaue Aktenverweise bestehen und konnte der Beschwerdeführer im bundesgerichtlichen Verfahren ohne Verletzung seiner Begründungspflicht nicht darauf verzichten, seine Vorbringen mit genauen Aktenverweisen zu untermauern. Auch mit Blick auf den Kindesunterhalt gilt folglich das in E. 4.3 hiervor Ausgeführte.
5.
5.1. Eine Verletzung des Willkürverbots (<ref-law>) erblickt der Beschwerdeführer weiter darin, dass das Obergericht die aktuelle ausserordentliche Lage im Zusammenhang mit der COVID-19-Pandemie ohne vorherige Anhörung der Parteien nicht berücksichtigt hat. Die vom Bundesrat Mitte März 2020 gestützt auf das Bundesgesetz vom 28. September 2012 über die Bekämpfung übertragbarer Krankheiten des Menschen (Epidemiengesetz, EpG; SR 818.101) sowie <ref-law> getroffenen Massnahmen hätten zu einer weitgehenden Stilllegung des sozialen Lebens sowie zu einem drastischen Rückgang der wirtschaftlichen Tätigkeit und damit einer starken Verschlechterung der Lage auf dem Arbeitsmarkt geführt. Unternehmen hätten denn auch fast keine neuen Arbeitnehmenden mehr eingestellt. Diese Umstände seien als allgemeinbekannte bzw. notorische Tatsachen zu qualifizieren und hätten von der Vorinstanz auch ohne explizite Geltendmachung durch die Parteien berücksichtigt werden müssen. Die Annahme, dem Beschwerdeführer sei es nach einer nur kurzen Übergangsfrist ab Geburt des Sohnes möglich, ein hypothetisches Einkommen zu erzielen, sei daher nicht haltbar. Vielmehr sei für die Berechnung der Unterhaltsbeiträge vom tatsächlich erzielten Einkommen auszugehen. Evenutaliter sei dem Beschwerdeführer eine deutlich längere Übergangsfrist einzuräumen.
5.2. Gemäss <ref-law> bedürfen offenkundige und gerichtsnotorische Tatsachen sowie allgemein anerkannte Erfahrungssätze keines Beweises. Offenkundig sind Tatsachen, die allgemein, jedenfalls aber am Ort des Gerichts verbreitet bekannt sind. Nicht erforderlich ist, dass die Allgemeinheit die Tatsache unmittelbar kennt; es genügt, wenn sie sich aus allgemein zugänglichen Quellen erschliessen lässt. Gerichtsnotorisch sind Erkenntnisse des Richters aus früheren Verfahren zwischen den gleichen Parteien oder aus bewusst geführten Pilotprozessen, berufliches Wissen von Fachrichtern oder gutachterliche Befunde aus anderen Verfahren über abstrakte wissenschaftliche Fragen, nicht aber Wissen des Richters über den konkreten Beweisgegenstand (Urteil 4A_18/2020 vom 26. Mai 2020 E. 3.3; 5A_774/2017 vom 12. Februar 2018 E. 4.1.1; vgl. auch <ref-ruling> E. 1.1.1; <ref-ruling> E. 4.1).
5.3. Wie der Beschwerdeführer richtig vorbringt, sind die allgemeine Lage in der Schweiz nach dem Auftreten von COVID-19 und die generellen Folgen der in diesem Zusammenhang ergriffenen Massnahmen als offenkundige Tatsachen in diesem Sinn einzustufen (betreffend bedeutende historische Ereignisse und Epidemien vgl. BRÖNNIMANN, in: Berner Kommentar, Zivilprozessordnung, 2012, N. 3 zu <ref-law>; GUYAN, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 3. Aufl. 2017, N. 2 zu <ref-law>; HASENBÖHLER, in: Sutter-Somm et al. [Hrsg.], Kommentar zur Schweizerischen Zivilprozessordnung, 3. Aufl. 2016, N. 3 zu <ref-law>; LEU, in: Brunner et al. [Hrsg.], Schweizerische Zivilprozessordnung, 2. Aufl. 2016, N. 6 zu <ref-law>; betreffend eine Krise in einer bestimmten Branche vgl. Urteil 4P.170/2006 vom 16. Februar 2007 E. 2.3, in: SZZP 2007 Nr. 528 S. 398). Nicht offenkundig ist dagegen der weitere Schluss des Beschwerdeführers, es sei ihm aufgrund der ausserordentlichen Lage (innert nützlicher Frist) nicht möglich, eine Anstellung in seinem angestammten Beruf zu finden. Zwar hat sich das wirtschaftliche Umfeld nach dem Auftreten von COVID-19 verschlechtert, was allgemein bekannt ist. Indessen wurden nicht alle Wirtschaftszweige durch die Pandemie gleich stark oder auf die gleiche Art betroffen. Mit dem Hinweis auf die derzeitige ausserordentliche Lage ist mit anderen Worten noch nichts Entscheidendes zur Situation des Beschwerdeführers gesagt. Diese Situation ist vielmehr nach Massgabe der allgemeinen Grundsätze zu behaupten und zu beweisen. Entsprechend ist das Obergericht nicht in Willkür verfallen, indem es nicht von Amtes wegen davon ausging, dem Beschwerdeführer sei aufgrund der derzeitigen ausserordentlichen Lage die Erzielung des ihm als zumutbar erachteten Einkommens nicht oder nur erschwert bzw. nach längeren Suchbemühungen möglich.
6.
Der Beschwerdeführer erachtet das angefochtene Urteil weiter als willkürlich (<ref-law>), weil in sein Existenzminimum eingegriffen werde. Das Obergericht habe ihm ein nicht erzielbares hypothetisches Einkommen angerechnet, weshalb es ihm nicht möglich sei, gleichzeitig die gestützt darauf festgelegten Unterhaltsbeiträge und sein Existenzminimum zu decken.
Nach ständiger Rechtsprechung ist der unterhaltsverpflichteten Partei bei der hoheitlichen Festlegung des Unterhalts für alle familienrechtlichen Unterhaltskategorien stets das betreibungsrechtliche Existenzminimum zu belassen (<ref-ruling> E. 4.3 mit zahlreichen Hinweisen). Der Beschwerdeführer macht nicht geltend, es liege auch dann ein Eingriff in sein Existenzminimum vor, wenn das von der Vorinstanz angerechnete hypothetische Einkommen berücksichtigt wird. Die Berücksichtigung dieses Einkommens bei der Prüfung, ob ein verpönter Eingriff vorliegt, ist aber nicht zu beanstanden (vgl. vorne E. 4 und 5; allgemein vgl. <ref-ruling> E. 3b/bb; HAUSHEER/SPYCHER, in: Handbuch des Unterhaltsrechts, 2. Aufl. 2010, N. 05.136). Damit verfängt das Vorbringen des Beschwerdeführers nicht.
7.
Zuletzt macht der Beschwerdeführer eine Verletzung der Begründungspflicht als Teilgehalt des Anspruchs auf rechtliches Gehör (<ref-law>) geltend, weil das Obergericht im angefochtenen Urteil auf die Berechnungsblätter der Erstinstanz verwiesen und die massgeblichen Berechnungen nicht im Urteil aufgeführt habe.
Nach der Rechtsprechung kann ein Berufungsgericht indes zur Begründung eines Urteils auf die schriftliche Begründung des erstinstanzlichen Entscheids verweisen, sofern keine beachtlichen Gründe vorgebracht werden, zu denen die erste Instanz noch nicht Stellung bezogen hat. Hierdurch macht die obere Instanz sich die erstinstanzlichen Erwägungen zu eigen und das Bundesgericht prüft die Rechtsanwendung in deren Licht (vgl. <ref-ruling> E. 3b; Urteile 4A_477/2018 und 4A_481/2018 vom 16. Juli 2019 E. 3.2.1; 5A_369/2016 vom 27. Januar 2017 E. 3.1). Diese Grundsätze gelten auch für den Verweis auf Berechnungsblätter, deren Verwendung durch die Erstinstanz der Beschwerdeführer nicht beanstandet. Dieser bringt auch nicht vor, dass die Berechnung des Unterhaltsanspruchs unabhängig von der Höhe seines Einkommens im Berufungsverfahren strittig gewesen wäre und erhebt dazu vor Bundesgericht keine Rügen. Das Vorgehen des Obergerichts ist unter diesen Umständen nicht zu beanstanden.
8.
8.1. Nach dem Ausgeführten erweist die Beschwerde sich als unbegründet und ist sie abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer grundsätzlich kostenpflichtig (<ref-law>) und hat er der Beschwerdegegnerin die im Zusammenhang mit dem Gesuch um aufschiebende Wirkung entstandenen Parteikosten zu ersetzen. Weitere entschädigungspflichtige Kosten sind der Beschwerdegegnerin mangels Einholens einer Vernehmlassung in der Sache nicht entstanden (Art. 68 Abs. 1 und 2 BGG).
8.2. Beide Parteien ersuchen für das bundesgerichtliche Verfahren indes um unentgeltliche Rechtspflege und Verbeiständung. Die diesbezüglichen Voraussetzungen sind erfüllt (Art. 64 Abs. 1 und 2 BGG). Da die Beschwerdegegnerin keine Verfahrenskosten zu tragen hat, ist ihr Gesuch um unentgeltliche Rechtspflege allerdings gegenstandslos geworden, soweit es die Befreiung von den Gerichtskosten betrifft (<ref-ruling> E. 5). Nicht gegenstandslos wird es hingegen hinsichtlich der Bestellung eines unentgeltlichen Rechtsbeistands: Zwar wird der obsiegenden Beschwerdegegnerin eine Parteientschädigung zugesprochen. Angesichts der wirtschaftlichen Verhältnisse des Beschwerdeführers ist indessen nicht anzunehmen, dass sie die ihr zustehende Entschädigung wird erhältlich machen können. Deshalb ist auch die Anwältin der Beschwerdegegnerin aus der Bundesgerichtskasse zu entschädigen (<ref-ruling> E. 3d). Beide Parteien werden darauf hingewiesen, dass sie der Bundesgerichtskasse Ersatz zu leisten haben, falls sie dazu später in der Lage sind (<ref-law>; vgl. zum Ganzen Urteil 5A_295/2016 vom 23. Februar 2017 E. 6.2, nicht publ. in: <ref-ruling>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Auf das Gesuch des Beschwerdeführers um Ausrichtung eines Prozesskostenbeitrages wird nicht eingetreten.
3.
3.1. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird gutgeheissen und es wird ihm Rechtsanwalt Bernhard Jüsi als unentgeltlicher Rechtsvertreter beigeordnet.
3.2. Das Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege wird gutgeheissen, soweit es nicht gegenstandslos geworden ist, und es wird ihr Rechtsanwältin Andrea Stäuble Dietrich als unentgeltliche Rechtsanwältin beigeordnet.
4.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
5.
5.1. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 500.-- zu entschädigen. Die Entschädigung wird indes vorläufig auf die Bundesgerichtskasse genommen und Rechtsanwältin Andrea Stäuble Dietrich wird aus dieser mit Fr. 400.-- entschädigt.
5.2. Rechtsanwalt Bernhard Jüsi wird aus der Bundesgerichtskasse mit Fr. 1'700.-- entschädigt.
6.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 7. September 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber