Sachverhalt:
A.
A.a. A.A._ (geb. 1985; Beschwerdeführer) und B.A._ (geb. 1987; Beschwerdegegnerin) sind die Eltern von C.A._ (geb. 2011), D.A._ (geb. 2014) und E.A._ (geb. 2015). Die Beschwerdegegnerin ist ausserdem zusammen mit ihrem neuem Partner Mutter von F._ (geb. 2019). Die Parteien leben seit dem 1. Januar 2017 getrennt.
A.b. Mit Eheschutzentscheid vom 24. April 2017 wurden die Kinderunterhaltsbeiträge, in Genehmigung einer Trennungsveinbarung der Parteien, auf Fr. 850.-- pro Kind, zuzüglich Kinderzulagen, festgesetzt. Nachträglich einigten sich die Parteien aussergerichtlich auf einen Gesamtbetrag von Fr. 2'400.--.
B.
B.a. Am 19. September 2018 leitete die Beschwerdegegnerin die Scheidung ein beim Richteramt Solothurn-Lebern und beantragte anlässlich der Einigungsverhandlung Unterhaltsbeiträge pro Kind von Fr. 850.--, zuzüglich Kinderzulagen, wie bereits im Eheschutzverfahren. Der Beschwerdeführer verlangte eine Reduktion des Kinderunterhalts ab 1. Dezember 2018 auf Fr. 413.-- Barunterhalt pro Kind.
B.b. Der Amtsgerichtsstatthalter von Solothurn-Lebern wies den Antrag auf Reduktion der Kinderunterhaltsbeiträge mit Verfügung vom 13. März 2019 ab. Es gelte weiterhin die Unterhaltspflicht gemäss Ziffer 5 der im Eheschutzurteil genehmigten Trennungsvereinbarung.
C.
C.a. Der Beschwerdeführer erhob am 2. September 2019 Berufung beim Obergericht des Kantons Solothurn. Er beantragte, die Unterhaltsbeiträge pro Kind seien ab 1. Dezember 2018 bis 30. Juni 2019 auf Fr. 494.-- Barunterhalt, zuzüglich Kinderzulagen, zu reduzieren und ab 1. Juli 2019 und für die Dauer des Scheidungsverfahrens auf Fr. 327.-- Barunterhalt, zuzüglich Kinderzulagen.
C.b. Die Beschwerdegegnerin beantragte die Abweisung der Berufung.
C.c. Mit Urteil vom 6. November 2019 hiess das Obergericht die Berufung teilweise gut und hob die Verfügung des Amtsgerichtsstatthalters vom 13. März 2019 mit Wirkung ab 1. Februar 2019 auf. Es setzte die Unterhaltsbeiträge pro Kind ab Februar 2019 auf monatlich Fr. 670.-- (Fr. 577.-- Bar- und Fr. 93.-- Betreuungsunterhalt), zuzüglich Kinderzulagen, fest. Das Obergericht auferlegte die Kosten den Parteien hälftig und es schlug die Parteikosten wett, gewährte aber beiden Parteien die unentgeltliche Rechtspflege.
D.
D.a. Gegen diesen Entscheid gelangt der Beschwerdeführer mit Beschwerde vom 11. Dezember 2019 an das Bundesgericht. Er verlangt eine Reduktion der Unterhaltsbeiträge mit Wirkung ab 1. Februar 2019 auf monatlich maximal je Fr. 539.-- (Fr. 510.-- Bar- und Fr. 29.-- Betreuungsunterhalt). Er beantragt die unentgeltliche Rechtspflege.
D.b. Das Bundesgericht hat die Akten der Vorinstanzen, aber keine Vernehmlassungen eingeholt.
Erwägu ngen:
1.
Angefochten ist der Endentscheid (Art. 90 BGG) einer letzten kantonalen Instanz, die als oberes Gericht auf Rechtsmittel hin (Art. 75 BGG) und in Abänderung eines Eheschutzentscheids über vorsorgliche Massnahmen für die Dauer des Scheidungsverfahrens geurteilt hat (Art. 276 ZPO; vgl. BGE 134 III 426 E. 2.2 S. 431 f. mit Hinweisen). Diese zivilrechtliche Streitigkeit (Art. 72 Abs. 1 BGG) beschlägt vermögensrechtliche Belange (Unterhaltsbeiträge). Der Streitwert von Fr. 30'000.-- (Art. 74 Abs. 1 lit. b BGG) ist angesichts der vor Vorinstanz noch streitigen Höhe und Dauer der Unterhaltsbeiträge erreicht (Art. 51 Abs. 1 lit. a und Abs. 4 BGG). Der Beschwerdeführer ist zur Beschwerde legitimiert (Art. 76 Abs. 1 BGG) und hat die Beschwerdefrist eingehalten (Art. 100 Abs. 1 BGG). Unter Vorbehalt der nachfolgenden Ausführungen ist die Beschwerde in Zivilsachen gemäss Art. 72 ff. BGG grundsätzlich zulässig.
2.
Massnahmenentscheide, die gestützt auf Art. 276 ZPO ergehen, unterstehen Art. 98 BGG (Urteile 5A_451/2019 vom 28. Januar 2020 E. 2; 5A_670/2015 vom 4. Februar 2016 E. 2; 5A_247/2013 vom 15. Oktober 2013 E. 1.3; je mit Hinweisen). Demnach kann vorliegend nur die Verletzung verfassungsmässiger Rechte gerügt werden. Auch die Anwendung von Bundesgesetzen prüft das Bundesgericht im Rahmen von Art. 98 BGG nur auf die Verletzung des Willkürverbots (Art. 9 BV) hin (vgl. Urteil 5A_857/2016 vom 8. November 2017 E. 2; zum Begriff der Willkür vgl. nachstehend E. 3.4.1). In Verfahren nach Art. 98 BGG kommt zudem eine Berichtigung oder Ergänzung der Sachverhaltsfeststellungen nur in Frage, wenn die kantonale Instanz verfassungsmässige Rechte verletzt hat (BGE 133 III 585 E. 4.1 S. 588 f. mit Hinweisen). Die Verletzung von verfassungsmässigen Rechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; Rügeprinzip). Es prüft nur klar und detailliert erhobene und soweit möglich belegte Rügen (BGE 142 III 364 E. 2.4 S. 368). Dies setzt voraus, dass sich die Beschwerde mit den Erwägungen des angefochtenen Entscheids auseinandersetzt (BGE 141 I 36 E. 1.3 S. 41).
3.
3.1. Der Beschwerdeführer rügt die Verletzung des Willkürverbots (Art. 9 BV). Die Vorinstanz habe in der Unterhaltsberechnung die Krankenkassenprämien (KVG) der drei Kinder mit je Fr. 92.--, diejenigen der Beschwerdegegnerin mit Fr. 418.-- angegeben. Die Beschwerdegegnerin erhalte aber individuelle Prämienverbilligungen (jährlich je Fr. 787.-- für die Kinder und Fr. 3'338.-- für sich selbst). Dem Gesuch der Beschwerdegegnerin um unentgeltliche Rechtspflege im Berufungsverfahren sei eine Prämienabrechnung beigelegt gewesen. Dieser sei zu entnehmen, dass die Prämien nach Berücksichtigung der Prämienverbilligung Fr. 25.05 pro Kind und Fr. 156.40 für die Beschwerdegegnerin betrügen. Die Vorinstanz habe Beweismittel unberücksichtigt gelassen und so die Krankenkassenprämien pro Kind um Fr. 67.-- und für die Beschwerdegegnerin um Fr. 261.-- zu hoch eingesetzt.
3.2. Aus dem angefochtenen Urteil geht hervor, dass der Beschwerdeführer bereits vor der Vorinstanz verlangt hatte, im Bedarf der Ehefrau und der Kinder seien Prämienverbilligungen zu berücksichtigen. Die Vorinstanz erwog aber, dass der Beschwerdeführer selbst im erstinstanzlichen Verfahren seinen Berechnungen monatliche Krankenkassenprämien der Ehefrau in der Höhe von Fr. 418.-- und der Kinder von je Fr. 92.-- zugrundegelegt und diese damit anerkannt habe. Das müsse er sich anrechnen lassen, zumal schon damals offensichtlich gewesen sei, dass die Ehefrau und die Kinder, wie schon die ganze Familie vor der Trennung, Anspruch auf Prämienverbilligungen hätten.
3.3. Der Beschwerdeführer setzt den Erwägungen der Vorinstanz in seiner Beschwerde an das Bundesgericht entgegen, die Beschwerdegegnerin habe zu besagter Zeit ein Gesuch um unentgeltliche Rechtspflege eingereicht gehabt, in welchem diese den Betrag der (vollen) Prämien angegeben und handschriftlich beigefügt habe, "IPV noch nicht bekannt". Auf diese Angaben habe er abstützen dürfen und müssen, habe damit diese Zahlen aber weder anerkannt noch auf eine Berücksichtigung der individuellen Prämienverbilligung verzichtet. Die gegenteilige Unterstellung und Schlussfolgerung der Vorinstanz sei unhaltbar und willkürlich.
Aufgrund der veränderten Situation sei auch nicht sicher gewesen, dass die Beschwerdegegnerin mit ihren Kindern Prämienverbilligungen erhalten werde (neue Arbeitsstelle, Umzug, Konkubinat). Ausserdem habe die Beschwerdegegnerin ihre Mitwirkungspflicht insofern verletzt, als sie ihre Steuererklärung nicht offengelegt habe, damit habe er nicht wissen können, wie viel sie verdiene und ob sie Anspruch auf Prämienverbilligungen habe. Erst im Verfahren um Anfechtung der Vaterschaft für das vierte Kind habe die Beschwerdegegnerin (am 16. August 2018) die Verfügung betreffend individuelle Prämienverbilligung ins Recht gelegt. Vor der Vorinstanz habe sie aber noch am 1. Oktober 2019 falsche Angaben gemacht im Gesuch um unentgeltliche Rechtspflege. Die Annahme der Vorinstanz, es sei offensichtlich gewesen, dass die Beschwerdegegnerin Anspruch auf Prämienverbilligung habe, sei willkürlich. Er sei insofern beschwert, als die Nichtberücksichtigung der Prämienverbilligungen zu Lasten seines Steuerbetreffnisses gehe und bei ihm Steuerschulden bewirke. Die Vorinstanz habe auch die Offizialmaxime verletzt. Als Resultat profitiere die Beschwerdegegnerin dadurch von einer Sparquote, während er in Schulden verfalle; dieses Ergebnis sei unhaltbar und willkürlich.
3.4. Die Vorwürfe sind nur unter dem Blickwinkel der Willkür zu prüfen (vgl. vorstehend E. 2).
3.4.1. Nach ständiger Rechtsprechung des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 140 III 167 E. 2.1 S. 168; 138 I 305 E. 4.3 S. 319; je mit Hinweis).
3.4.2. Der Argumentation des Beschwerdeführers kann nicht gefolgt werden. Er widerspricht sich vorab selbst, wenn er der Beschwerdegegnerin eine Verletzung der Mitwirkungspflicht vorwirft, aber selbst zugibt, dass die Beschwerdegegnerin bereits vor der ersten Instanz mögliche Prämienverbilligungen angesprochen hat (siehe Zitat in E. 3.2.1: "IPV noch nicht bekannt") und auch die notwendigen Belege eingereicht hat, mangels derer der Beschwerdeführer seine Rüge vor Bundesgericht gar nicht hätte beziffern können. Die Behauptung, die Beschwerdeführerin habe noch im Gesuch vom 1. Oktober 2019 (Gesuch um unentgeltliche Rechtspflege im Berufungsverfahren) falsche Angaben gemacht und Informationen nicht offen gelegt, ist insofern offensichtlich falsch, als er selbst angibt, die Zahlen der zu bezahlenden Prämien einer Beilage zu diesem Gesuch zu entnehmen (vgl. E. 3.1).
Gemäss seinen eigenen Ausführungen standen von Anfang an Prämienverbilligungen im Raum. Er hätte ohne weiteres bereits vor der ersten Instanz in seiner Berechnung den Vorbehalt anbringen können, dass allfällige Prämienverbilligungen zu berücksichtigen seien. Er bringt vor Bundesgericht aber nicht vor, dies getan zu haben. Weiter hätte er entsprechende Beweisanträge stellen können, wenn er der Ansicht gewesen wäre, es würden von der Beschwerdegegnerin Belege zum Einkommen, den allfälligen Prämienverbilligungen oder andere Informationen unterdrückt. Hat er aber sowohl auf einen Vorbehalt als auch auf weitere Auskünfte verzichtet, ist es nicht willkürlich, wenn die Vorinstanz von einer Anerkennung der (vollen) Prämien ausgeht und nicht weiter Beweis geführt hat.
3.4.3. Sodann scheitert das Anliegen des Beschwerdeführers auch daran, dass das vorinstanzliche Urteil im Ergebnis nicht als willkürlich erscheint. Wie die Vorinstanz festhält, wurde der Beschwerdegegnerin von der ersten Instanz - und in der Folge auch von der Berufungsinstanz - ein hypothetisches Einkommen (in der Höhe des bis zur Geburt des vierten Kindes erzielten Einkommens von Fr. 1'800.--) angerechnet, welches das übersteigt, was von der Beschwerdegegnerin hätte verlangt werden können. Gemäss den vom Beschwerdeführer vor Bundesgericht nicht bestrittenen Feststellungen, arbeitete die Beschwerdegegnerin bis zur Geburt des vierten Kindes zu 60 %, obwohl sie - gestützt auf das Schulstufenmodell (BGE 144 III 481 E. 4.7.6 S. 497) - noch nicht zur Aufnahme einer Arbeitstätigkeit verpflichtet gewesen wäre, da das dritte Kind erst am 30. April 2020, d.h. erst im Lauf des bundesgerichtlichen Verfahrens, fünf Jahre alt geworden ist. Mit der Geburt des vierten Kindes gab die Beschwerdegegnerin ihre Arbeitstätigkeit auf.
Es steht demnach fest, dass zum Zeitpunkt der Fällung des angefochtenen Urteils keine Pflicht zur Aufnahme einer Arbeitstätigkeit bestanden hätte. Dennoch wurde ihr das frühere Einkommen hypothetisch weiterhin angerechnet. Dass der Beschwerdeführer durch das angefochtene Urteil (in willkürlicher Weise) schlechter behandelt würde als die Beschwerdegegnerin ist vor diesem Hintergrund nicht ersichtlich.
3.4.4. Die weitere Kritik am angefochtenen Urteil ist appellatorischer Natur. Darauf wird nicht eingetreten.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten wird. Bei diesem Ausgang wird der Beschwerdeführer kosten- (Art. 66 Abs. 1 BGG), nicht hingegen entschädigungspflichtig (Art. 68 Abs. 1 und Abs. 2 BGG), da keine Vernehmlassungen eingeholt wurden. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren ist abzweisen. Wie die vorstehenden Erwägungen zeigen, war die Beschwerde von Beginn weg aussichtslos (Art. 64 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 24. Juni 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Die Gerichtsschreiberin: Friedli-Bruggmann