Sachverhalt:
A.
A.a. A._ (geb. 1985) und B._ (geb. 1984) haben 2008 in U._ (Italien) geheiratet. Aus der Ehe gingen die Kinder C._ (geb. 2012) und D._ (geb. 2016) hervor. Seit dem 6. Juli 2020 leben die Ehegatten getrennt. Am 27. Juli 2020 verliess der Ehemann die Schweiz und begab sich nach Italien. Die Kinder blieben unter der Obhut der Mutter in V._.
A.b. Nachdem sich die Ehegatten in einer Teilvereinbarung auf die Scheidung geeinigt hatten, machte die Ehefrau am 9. Juli 2020 das Scheidungsverfahren anhängig und beantragte vorsorgliche Massnahmen. Darauf verfügte die Amtsgerichtspräsidentin von V._ soweit hier interessierend am 23. Februar 2021, was folgt:
"Der Ehemann wird verpflichtet, für die Dauer des Verfahrens an den Unter halt der Kinder C._ und D._ folgende monatlich vorauszahlbare Unter haltsbeiträge zu bezahlen:
- ab dem 1. September 2020 je CHF 478.00 (Barunterhalt CHF 392.00, Betreuungsunterhalt CHF 86.00);
- ab dem 1. Februar 2021:
- für C._ CHF 635.00 (Barunterhalt CHF 479.00, Betreuungsunterhalt CHF 156.00);
- für D._ CHF 607.00 (Barunterhalt CHF 451.00, Betreuungsunterhalt CHF 156.00).
Allfällige vom Ehemann bezogene Kinder- und Familienzulagen sind in diesem Betrag nicht inbegriffen und zusätzlich geschuldet."
B.
Auf Berufung des Ehemanns hin änderte das Obergericht des Kantons Solothurn diese Regelung mit Urteil vom 7. Mai 2021 (eröffnet am 11. Mai 2021) insoweit, als es diesen bereits ab dem 1. August 2020 zu Unterhaltszahlungen verpflichtete. Ferner hielt es im Dispositiv des Urteils fest, dass bereits geleistete Zahlungen von Fr. 4'663.50 an die Unterhaltsbeiträge angerechnet werden.
C.
A._ (Beschwerdeführer) wendet sich mit Beschwerde in Zivilsachen vom 9. Juni 2021 an das Bundesgericht. Er beantragt die Aufhebung des Urteils des Obergerichts und die Feststellung, dass er keinen Kindesunterhalt leisten kann. Eventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Für das Verfahren vor dem Bundesgericht stellt der Beschwerdeführer ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung.
Das Bundesgericht hat die vorinstanzlichen Akten, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Angefochten ist der Endentscheid (<ref-law>) einer letzten kantonalen Instanz, die als oberes Gericht auf Rechtsmittel hin (<ref-law>) über vorsorgliche Massnahmen (Kindesunterhalt) für die Dauer des Scheidungsverfahrens geurteilt hat (<ref-law>; vgl. <ref-ruling> E. 2.2 mit Hinweisen). Diese zivilrechtliche Streitigkeit (<ref-law>) beschlägt vermögensrechtliche Belange. Der Streitwert von Fr. 30'000.-- (Art. 74 Abs. 1 Bst. b BGG) ist erreicht (Art. 51 Abs. 1 Bst. a und Abs. 4 BGG). Der Beschwerdeführer ist zur Beschwerde legitimiert (<ref-law>) und hat die Beschwerdefrist eingehalten (<ref-law>). Unter Vorbehalt der nachfolgenden Ausführungen ist die Beschwerde in Zivilsachen zulässig und auf diese ist einzutreten.
2.
Massnahmenentscheide, die gestützt auf <ref-law> ergehen, unterstehen <ref-law> (Urteil 5A_592/2018 vom 13. Februar 2019 E. 1.2; vgl. <ref-ruling> E. 5.1 und 5.2). Daher kann nur die Verletzung verfassungsmässiger Rechte gerügt werden. Auch eine Berichtigung oder Ergänzung der Sachverhaltsfeststellungen kommt nur infrage, wenn die kantonale Instanz verfassungsmässige Rechte verletzt hat (<ref-ruling> E. 4.1). Es gilt das strenge Rügeprinzip nach <ref-law>. Die rechtsuchende Partei muss präzise angeben, welches verfassungsmässige Recht durch den angefochtenen Entscheid verletzt wurde, und im Einzelnen darlegen, worin die Verletzung besteht. Das Bundesgericht prüft nur klar und detailliert erhobene und soweit möglich belegte Rügen. Auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 1.3; <ref-ruling> E. 2.3). Wird die Verletzung des Willkürverbots (<ref-law>) gerügt, reicht es daher nicht aus, wenn der Beschwerdeführer die Sach- oder Rechtslage aus seiner Sicht darlegt und den davon abweichenden angefochtenen Entscheid als willkürlich bezeichnet. Er muss im Einzelnen dartun, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 mit Hinweis; Urteil 5A_991/2015 vom 29. September 2016 E. 2, nicht publ. in: <ref-ruling>) und auch im Ergebnis in krasser Weise dem Gerechtigkeitsgedanken zuwiderläuft (zum Begriff der Willkür: <ref-ruling> E. 3.6.2; <ref-ruling> E. 3.4).
3.
Umstritten ist, ob dem Beschwerdeführer ein hypothetisches Einkommen anzurechnen ist.
3.1. Die Vorinstanz erwägt, dass der Beschwerdeführer eine frühere Anstellung in der Schweiz nicht freiwillig aufgegeben habe, sondern ihm infolge der COVID-19-Pandemie gekündigt worden sei. Er habe in der Folge in der Schweiz keine Stelle gesucht und sich auch nicht bei der Arbeitslosenkasse angemeldet. Vielmehr sei er umgehend nach Italien gereist, um sich zu erholen. Erst später habe er eine neue Anstellung angetreten. Dass er folglich während zweier Monate gar kein Einkommen erzielt und danach ein solches, das erheblich unter dem Schweizer Lohnniveau gelegen habe, sei allein ihm zuzuschreiben. Unklar sei, ob der Beschwerdeführer eine Berufsausbildung habe. Aufgrund seiner bisherigen aktenkundigen Tätigkeiten und der Arbeitsmarktlage komme für ihn aber eine Anstellung in den Bereichen Möbelmontage und -transport, Maschinenmontage und -bedienung, Mitarbeiter in der Logistik oder Reinigung/Hauswartung in Frage, zumal die Regionale Arbeitsvermittlung (RAV) Stellensuchenden bei der Bewerbung behilflich sei und ihnen den Erwerb zusätzlicher Kompetenzen (z.B. Sprachen) ermögliche. Die COVID-19-Pandemie erschwere zwar die Stellensuche, verunmögliche eine neue Anstellung aber nicht, was der Beschwerdeführer, der sowohl in W._ (GR) als auch in X._ (Italien) neue Beschäftigungen gefunden habe, selbst beweise. Im Übrigen hätte der Beschwerdeführer trotz des Bezugs von Arbeitslosentaggeldern einen Zwischenverdienst erzielen können. In der Folge rechnet die Vorinstanz dem Beschwerdeführer wie schon die Amtsgerichtspräsidentin ein hypothetisches Einkommen an. In einer ersten Phase entspricht dieses den nicht bezogenen Arbeitslosentaggeldern (Fr. 3'456.--) und ab dem 1. Februar 2021 (zweite Phase) dem Nettolohn, bei seiner früheren Arbeitgeberin (Fr. 4'320.--).
Hieran ändert nach Ansicht des Obergerichts nichts, dass der Beschwerdeführer nach der Trennung in der Schweiz eine neue Wohnung hätte suchen müssen. Dies sei keine besondere Härte, sondern bei jeder Trennung das Schicksal mindestens eines der Partner. Dem Beschwerdeführer wäre es aufgrund seiner Verhältnisse und der Lage auf dem Wohnungsmarkt möglich gewesen, innert nützlicher Frist eine bezahlbare Wohnung zu finden. Mit dem erfolgten Wegzug zu seinem Bruder nach Y._ (Italien) habe der Beschwerdeführer sein Wohnproblem zudem keineswegs dauerhaft gelöst, zumal seine neuen Anstellungen allesamt weit vom Wohnort entfernt gelegen hätten, was aufgrund der Spesen (Fr. 840.-- bzw. 1'426.-- im Monat) nicht rentabel sei. Neu und nicht zu hören (vgl. <ref-law>) seien die erst im Berufungsverfahren vorgetragenen Behauptungen, der Beschwerdeführer habe in der Schweiz keinen Anschluss gefunden und er spreche die Sprache nicht. Ohnehin habe der Beschwerdeführer sich die nötigen Sprachkompetenzen anzueignen und lebten seine Kinder und damit nächsten Verwandten in der Schweiz. Der Beschwerdeführer habe ausserdem aktenkundig früher in verschiedenen Regionen Italiens gelebt, womit er es gewohnt sei, sich in einer neuen Umgebung zurechtzufinden.
Nicht zutreffend sei schliesslich die Behauptung des Beschwerdeführers, wonach seine Aufenthaltsbewilligung in der Schweiz von jener der Beschwerdegegnerin abhänge. Der Beschwerdeführer sei Bürger der Europäischen Union. Er habe daher das Recht auf eine Aufenthaltsbewilligung in der Schweiz, sofern er einen Arbeitsvertrag vorweisen könne.
3.2. Der Beschwerdeführer wirft der Vorinstanz eine Verletzung des rechtlichen Gehörs (<ref-law>) vor. Seine Vorbringen, wonach er in der Schweiz keinen Anschluss gefunden habe und die Sprache nicht spreche, seien keineswegs neu gewesen. Vielmehr handle es sich dabei um "mehrfach etablierte Fakten", welche für die Entscheidung "erheblich relevant" seien. Es sei seit Verfahrensbeginn aktenkundig, dass er im Gegensatz zur Beschwerdegegnerin kein Deutsch spreche, und auch der Hinweis auf die fehlenden sozialen Kontakte in der Schweiz stellten kein Novum dar. In der Folge trägt der Beschwerdeführer teilweise unter Hinweis auf die Akten ausführlich vor, weshalb der Standpunkt der Vorinstanz nicht zutreffe (z.B. mehrfacher Beizug von Dolmetschern in früheren Verhandlungen; fehlende enge Beziehungen ausserhalb der Familie).
Weiter ist das Obergericht nach Dafürhalten des Beschwerdeführers mehrfach in Willkür (<ref-law>) verfallen. Aktenwidrig und unzutreffend sei die Feststellung, er habe früher in verschiedenen Regionen Italiens gelebt und sei es somit gewohnt, sich in einer neuen Umgebung zurechtzufinden. Abgesehen davon sei er dorthin zurückkehrt, wo die Familie gegründet worden sei und mehrere Jahre gelebt habe (Y._) und wo er auf die Unterstützung seiner Familie zählen könne. Weiter dürfte die Zumutbarkeit des Verbleibs im Land nicht mit der Zumutbarkeit des Zurückkommens in die Schweiz gleichgesetzt werden. Korrekterweise seien diese zwei "Zeitpunkte" zu trennen. Rechtsprechungsgemäss werde dem Unterhaltspflichtigen sodann nicht sofort ein hypothetisches Einkommen angerechnet. Solches sei auch dem Beschwerdeführer nicht zumutbar; ihm sei Zeit zu gewähren, die rechtlichen Vorgaben umzusetzen. Die Vorinstanz werfe ihm ausserdem faktisch vor, sein Einkommen in Schädigungsabsicht geschmälert zu haben, was aktenwidrig sei. Die rückwirkende Anrechnung eines hypothetischen Einkommens, obwohl der Beschwerdeführer ein faktisches Einkommen erzielt habe, gehe ganz offensichtlich fehl. Dieses Vorgehen des Obergerichts stelle letztlich eine (willkürliche) Bestrafung und Unterstellung einer Schädigungsabsicht dar. Willkürlich sei es schliesslich, den Beschwerdeführer darauf zu behaften, in der Schweiz (W._) eine weitere Anstellung gefunden zu haben, das dort erzielte Einkommen dann aber nicht zu berücksichtigen und ihm stattdessen ein hypothetisches Einkommen anzurechnen. Tatsächlich schöpfe der Beschwerdeführer seine Erwerbsfähigkeit voll aus - er habe denn auch zwei Anstellungen gefunden - und habe alles ihm Zumutbare getan, was die Anrechnung eines hypothetischen Einkommens ausschliesse.
Aufgrund der gerügten Verfassungsverletzungen sei der Sachverhalt unrichtig festgestellt und verzerrt worden. Der angefochtene Entscheid sei mit Blick darauf, dass dem Beschwerdeführer ein wesentlich höheres als das tatsächlich erzielte Einkommen angerechnet werde, in der Begründung wie auch im Ergebnis nicht haltbar.
3.3.
3.3.1. Mangels hinreichender Begründung der Beschwerde ist insoweit nicht auf diese einzutreten, als der Beschwerdeführer eine Verletzung des Anspruchs auf rechtliches Gehör rügt: Die ausführlichen Hinweise in der Beschwerde im Zusammenhang mit den sprachlichen Fähigkeiten und der Integration in der Schweiz betreffen vorab die in der Sache strittige Anrechnung eines hypothetischen Einkommens. Der Beschwerdeführer vermag den Bezug zum als verletzt gerügten verfassungsmässigen Recht nicht mit der nötigen Klarheit aufzuzeigen (vgl. vorne E. 2). Auch wenn der Beschwerdeführer diese Frage anspricht, bleibt aufgrund der Beschwerde sodann weitgehend unklar, inwieweit die angebliche Verfassungsverletzung vorliegend für den Ausgang des Verfahrens erheblich sein sollte (vgl. dazu statt vieler Urteil 5A_1063/2020 vom 10. Februar 2022 E. 3.5.2 mit Hinweisen). Der Beschwerdeführer missachtet sodann, dass die Vorinstanz von den sprachlichen Defiziten sehr wohl Kenntnis genommen, gleichzeitig aber erwogen hat, der Beschwerdeführer sei für diese selbst verantwortlich. Implizit den gleichen Standpunkt hat die Vorinstanz auch eingenommen, was die fehlende Integration des Beschwerdeführers in der Schweiz betrifft. Eine Gehörsverletzung vermag er insoweit von vorneherein nicht aufzuzeigen.
3.3.2. In der Sache hat das Obergericht die massgebende Rechtsprechung sowohl zur Anrechnung eines hypothetischen Einkommens (<ref-ruling> E. 5.6; <ref-ruling> E. 3.2; <ref-ruling> E. 2.3) als auch zur Ausnützung der Erwerbskraft im Verhältnis zum unmündigen Kind (BGE <ref-ruling> E. 3.1; Urteil 5A_98/2016 vom 25. Juni 2018 E. 3.4, in: FamPra.ch 2018 S. 1101) berücksichtigt. Demnach müssen sich die Eltern auch in örtlicher Hinsicht so ausrichten, dass sie ihre Arbeitskapazität voll ausschöpfen können, weshalb auch ein (an sich zulässiger) Wegzug ins Ausland unbeachtlich bleiben kann, wenn eine weitere Arbeitstätigkeit in der Schweiz zumutbar wäre (vgl. Urteile 5A_899/2019 vom 17. Juni 2020 E. 2.2.2; 5A_90/2017 vom 24. August 2017 E. 5.3.1; 5A_513/2012 vom 17. Oktober 2012 E. 4, in: FamPra.ch 2013 S. 236; vgl. auch <ref-ruling> E. 7.4).
Gemessen an dieser Rechtsprechung vermag der Beschwerdeführer keine Verletzung des Willkürverbots aufzuzeigen. Im Wesentlichen beschränkt er sich darauf, der vorinstanzlichen Einschätzung, wonach ihm ein Verbleib in der Schweiz zumutbar sei, seine eigene gegenteilige Sicht entgegenzusetzen. Damit lässt sich keine Verfassungsverletzung dartun (vgl. vorne E. 2). Anders als es der Beschwerdeführer der Vorinstanz vorwirft, hat diese ihm auch nicht rückwirkend ein hypothetisches Einkommen angerechnet. Vielmehr ist sie davon ausgegangen, dass der Beschwerdeführer einen Anspruch auf Arbeitslosentaggelder gehabt hätte, wenn er die Schweiz nach dem Verlust der Arbeitsstelle nicht überstürzt in Richtung Italien verlassen hätte. Eine Schädigungsabsicht unterstellt die Vorinstanz dem Beschwerdeführer dabei nicht.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit auf diese einzutreten ist.
Der Beschwerdeführer wird damit kostenpflichtig (<ref-law>). Eine Entschädigung schuldet er der Beschwerdegegnerin nicht, da diese nicht zur Vernehmlassung eingeladen worden ist (Art. 68 Abs. 1 und 2 BGG). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren ist abzuweisen, da die Beschwerde nach dem Ausgeführten von Anfang an als aussichtlos beurteilt werden muss (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Obergericht des Kantons Solothurn, Zivilkammer, und dem Richteramt V._, Zivilabteilung, mitgeteilt.
Lausanne, 20. April 2022
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Sieber