Sachverhalt:
A.
Der kosovarische Staatsangehörige A._ (geb. 1980) reiste am 14. September 1998 erstmals in die Schweiz ein und ersuchte gleichentags um Asyl. Auf dieses Gesuch trat das damalige Bundesamt für Flüchtlinge (heute: Staatssekretariat für Migration) mit Entscheid vom 14. Januar 2000 infolge unkontrollierter Ausreise nicht ein und wies ihn aus der Schweiz weg. Am 14. Juni 2005 reiste A._ im Rahmen des Familiennachzugs erneut in die Schweiz ein, worauf ihm im Kanton Zürich eine Aufenthaltsbewilligung zwecks Verbleibs bei seiner Ehefrau erteilt wurde. Die Ehe blieb kinderlos und wurde mit Urteil des Bezirksgerichts Prizren (Kosovo) vom 16. Mai 2008 geschieden. Per 1. Juni 2008 zog A._ zu seiner damaligen in der Schweiz niedergelassenen Verlobten, welche er am 20. September 2008 heiratete. Am 16. Dezember 2009 bewilligte das Migrationsamt des Kantons Solothurn den Familiennachzug und erteilte A._ am 28. Januar 2010 eine neue Aufenthaltsbewilligung, welche in der Folge jeweils verlängert wurde. Der zweiten Ehe entstammten im Oktober 2010 niederlassungsberechtigte Zwillinge.
B.
Am 2. Mai 2013 trennten sich A._ und seine zweite Ehefrau nach nahezu viereinhalb Jahren. Mit Urteil des Richteramts Bucheggberg-Wasseramt vom 5. Juli 2016 wurde die Ehe rechtskräftig geschieden. Die elterliche Sorge über die gemeinsamen Kinder wurde beiden Elternteilen belassen und die elterliche Obhut der Mutter zugeteilt. A._ wurde verpflichtet, an den Unterhalt seiner beiden Kinder monatliche Beiträge in der Höhe von je Fr. 500.-- zu bezahlen.
B.a. Am 29. Juli 2014 verlängerte das Migrationsamt auf Gesuch hin die Aufenthaltsbewilligung von A._. Das Migrationsamt ermahnte ihn, er müsse künftig eigenständig für seinen Lebensunterhalt aufkommen, die bestehenden Schulden abbauen, die Unterhaltsbeiträge für seine Kinder regelmässig bezahlen und das Besuchsrecht weiterhin wahrnehmen. Er dürfe nicht mehr straffällig werden und keine Schulden anhäufen. Gegen die Verfügung vom 29. Juli 2014 erhob A._ Beschwerde, die das Verwaltungsgericht des Kantons Solothurn mit Entscheid vom 3. März 2015 abwies. Das Verwaltungsgericht erwog, indem das Migrationsamt A._ die Aufenthaltsbewilligung um ein Jahr verlängert habe und für diese Frist im Sinne einer Verwarnung klare Anforderungen - insbesondere zur wirtschaftlichen Integration - gestellt habe, habe es ihm eine Chance eröffnet, statt die Integration abschliessend zu verneinen.
B.b. Am 28. Juli 2015 ersuchte A._ erneut um Verlängerung seiner Aufenthaltsbewilligung. Zu diesem Zeitpunkt war er mit 13 Betreibungen in der Höhe von Fr. 10'280.45 und mit 36 Verlustscheinen im Umfang von Fr. 49'831.15 im Register des Betreibungsamts Solothurn verzeichnet. Die von A._ geschuldeten Unterhaltsbeiträge wurden vom Oberamt Solothurn bevorschusst. Der Ausstand betrug zum damaligen Zeitpunkt Fr. 28'835.15. Obwohl sich die Situation nicht wesentlich verändert hatte, wurde A._ mit Verfügung vom 14. Dezember 2015 die Aufenthaltsbewilligung unter denselben Bedingungen wie im Jahr zuvor um ein weiteres Jahr verlängert.
B.c. A._ trat während seines Aufenthalts in der Schweiz wiederholt strafrechtlich in Erscheinung und wurde neben diversen geringfügigen Bussen (Strafbefehl der regionalen Staatsanwaltschaft Berner Jura-Seeland vom 14. Januar 2015; Strafbefehl der Staatsanwaltschaft des Kantons Solothurn vom 8. April 2015; Strafbefehl der regionalen Staatsanwaltschaft Berner Jura-Seeland vom 11. Mai 2015; Strafbefehl der Staatsanwaltschaft des Kantons Solothurn vom 5. Juni 2015; Strafbefehl der Staatsanwaltschaft des Kantons Luzern vom 21. März 2016; Strafbefehl der Staatsanwaltschaft des Kantons Solothurn vom 28. April 2017; Strafbefehl der Staatsanwaltschaft des Kantons Solothurn vom 14. September 2017; Strafbefehl der Staatsanwaltschaft des Kantons Solothurn vom 12. Februar 2019; Strafbefehl der Staatsanwaltschaft des Kantons Luzern vom 24. Juni 2019) wie folgt verurteilt:
Geldstrafe von 60 Tagessätzen zu je Fr. 120.--, bedingt aufgeschoben bei einer Probezeit von zwei Jahren, wegen Vernachlässigung von Unterhaltspflichten (Strafbefehl der Staatsanwaltschaft des Kantons Solothurn vom 7. November 2016);
Geldstrafe von 60 Tagessätzen zu je Fr. 70.--, bedingt aufgeschoben bei einer Probezeit von vier Jahren und Busse von Fr. 1'000.-- wegen Führens eines Motorfahrzeugs trotz Verweigerung, Entzugs oder Aberkennung des Ausweises sowie Übertretung der Verordnung über die Zulassung von Personen und Fahrzeugen zum Strassenverkehr (Strafbefehl der Staatsanwaltschaft Zofingen-Kulm vom 14. Mai 2018);
Geldstrafe von 180 Tagessätzen zu je Fr. 70.-- wegen Verletzung der Verkehrsregeln sowie Führens eines Motorfahrzeugs trotz Verweigerung, Entzugs oder Aberkennung des Ausweises (Strafbefehl der Staatsanwaltschaft Zofingen-Kulm vom 5. Juni 2019; Gesamtstrafe zum Strafbefehl vom 14. Mai 2018);
Geldstrafe von 90 Tagessätzen zu je Fr. 150.-- und Busse von Fr. 60.-- wegen Verletzung der Verkehrsregeln sowie Führens eines Motorfahrzeugs trotz Entzugs des Führerausweises (Strafbefehl der Staatsanwaltschaft Zofingen-Kulm vom 13. März 2020).
B.d. Am 1. Dezember 2016 ersuchte A._ letztmals um die Verlängerung seiner Aufenthaltsbewilligung. Er hatte zwischen dem 1. Juni 2011 und dem 31. Dezember 2019 insgesamt Fr. 36'353.05 an Sozialhilfe bezogen. Seit dem 5. März 2020 steht er wieder im aktiven Sozialhilfebezug. Bis am 9. April 2020 wurden ihm Sozialhilfeleistungen von Fr. 4'944.75 ausbezahlt. Im Betreibungsregister des Betreibungsamts Region Solothurn ist er mit 98 nicht getilgten Verlustscheinen aus Pfändungen der letzten 20 Jahre mit einem Gesamtbetrag von Fr. 189'664.25 verzeichnet. Die Unterhaltsbeiträge für seine beiden Kinder von je Fr. 500.-- bezahlte er nie. Der Staat bevorschusste die Beiträge seit Januar 2014 durchgehend. Der Ausstand belief sich per Februar 2020 auf Fr. 85'482.65.
B.e. Am 17. Februar 2020 gewährte das Migrationsamt A._ das rechtliche Gehör betreffend die Nichtverlängerung der Aufenthaltsbewilligung und Wegweisung aus der Schweiz. Mit Verfügung vom 8. Mai 2020 verlängerte das Migrationsamt namens des Departements des Innern des Kantons Solothurn die Aufenthaltsbewilligung von A._ nicht mehr und wies ihn per 31. Juli 2020 aus der Schweiz weg. Das Migrationsamt erwog, die Ehegemeinschaft habe länger als die gesetzlich geforderten drei Jahre gedauert und A._ halte sich seit 15 Jahren ununterbrochen in der Schweiz auf. Seine Integration entspreche jedoch nicht annähernd der langen Aufenthaltsdauer. Die von A._ gegen die Verfügung vom 8. Mai 2020 erhobene Beschwerde wies das Verwaltungsgericht mit Urteil vom 18. Januar 2021 ab und setzte ihm eine neue Ausreisefrist auf den 31. März 2021 fest.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 12. Februar 2021 gelangt A._ an das Bundesgericht. Er beantragt die Aufhebung des Urteils vom 18. Januar 2021. Ihm sei die Aufenthaltsbewilligung zu verlängern oder zumindest vorläufig zu verlängern. In prozessualer Hinsicht verlangt er die unentgeltliche Rechtspflege unter Verbeiständung durch Rechtsanwalt Peter Steiner.
Der Abteilungspräsident hat der Beschwerde mit Verfügung vom 16. Februar 2021 antragsgemäss die aufschiebende Wirkung zuerkannt.
Die Vorinstanz und das Migrationsamt beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werde. Das Staatssekretariat für Migration lässt sich nicht vernehmen.
Erwägungen:
1.
Die frist- (Art. 100 Abs. 1 BGG) und formgerecht (Art. 42 BGG) eingereichte Eingabe betrifft eine Angelegenheit des öffentlichen Rechts (Art. 82 lit. a BGG) und richtet sich gegen das kantonal letztinstanzliche (Art. 86 Abs. 1 lit. d BGG), verfahrensabschliessende (Art. 90 BGG) Urteil eines oberen Gerichts (Art. 86 Abs. 2 BGG). Der Beschwerdeführer ist bereits im kantonalen Verfahren als Partei beteiligt gewesen und dort mit seinen Anträgen nicht durchgedrungen. Ausserdem ist er durch das angefochtene Urteil in seinen schutzwürdigen Interessen besonders berührt. Er ist somit zur Erhebung des Rechtsmittels legitimiert (Art. 89 Abs. 1 BGG).
Das Rechtsmittel ist als Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig, da sich der Beschwerdeführer in vertretbarer Weise auf einen in Art. 50 Abs. 1 lit. a und lit. b des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer und über die Integration (Ausländer- und Integrationsgesetz, AIG; SR 142.20) geregelten, nachehelichen Bewilligungsanspruch beruft (Art. 83 lit. c Ziff. 2 BGG). Ob die Voraussetzungen des Bewilligungsanspruchs vorliegen, ist indes nicht Gegenstand der Eintretensfrage, sondern der materiellen Beurteilung (vgl. BGE 139 I 330 E. 1.1; 136 II 177 E. 1.1). Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist einzutreten.
2.
Mit der Beschwerde kann namentlich die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und lit. b BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), wobei es - unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 2 BGG) - grundsätzlich nur die geltend gemachten Vorbringen prüft, sofern allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (vgl. BGE 142 I 135 E. 1.5; 133 II 249 E. 1.4.1). Der Verletzung von Grundrechten geht das Bundesgericht nur nach, falls eine solche Rüge in der Beschwerde vorgebracht und ausreichend begründet worden ist (Art. 106 Abs. 2 BGG; vgl. BGE 143 II 283 E. 1.2.2; 139 I 229 E. 2.2). Diese qualifizierte Rüge- und Begründungsobliegenheit nach Art. 106 Abs. 2 BGG verlangt, dass in der Beschwerde klar und detailliert anhand der Erwägungen des angefochtenen Entscheids dargelegt wird, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (vgl. BGE 143 I 1 E. 1.4; 133 II 249 E. 1.4.2). Seinem Urteil legt das Bundesgericht den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG).
3.
Neue Tatsachen und Beweismittel dürfen im bundesgerichtlichen Verfahren nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Nur weil die Vorinstanz nicht der rechtlichen Auffassung der beschwerdeführenden Person gefolgt ist, gibt das angefochtene Urteil noch keinen Anlass, neue Beweismittel zuzulassen. Dazu müsste die Vorinstanz materielles Recht derart angewendet haben, dass bestimmte Sachumstände neu und erstmals - durch das vorinstanzliche Urteil - rechtserheblich würden (vgl. Urteil 2C_582/2020 vom 10. Dezember 2020 E. 3). Echte Noven sind dagegen in jedem Fall unzulässig. Folglich bleiben Tatsachen und Beweismittel unberücksichtigt, die erst nach dem angefochtenen Urteil entstanden sind und somit nicht durch diesen veranlasst worden sein können (vgl. BGE 143 V 19 E. 1.2; 133 IV 342 E. 2.1). Der Anstellungsvertrag vom 1. Februar 2021, unterzeichnet am 27. Januar 2021, sowie das Schreiben vom 3. Februar 2021, die der Beschwerdeführer als Beschwerdebeilagen einreicht, sind nach dem vorinstanzlichen Urteil vom 18. Januar 2021 entstanden. Als echte Noven sind diese Dokumente im bundesgerichtlichen Verfahren von vornherein nicht zulässig und können daher nicht beachtet werden.
4.
Der Beschwerdeführer beanstandet eine unrechtmässige Anwendung von Art. 50 Abs. 1 lit. a AIG.
4.1. Er macht geltend, er erfülle die Integrationskriterien nach Art. 58a AIG. Er habe sich nun bereits ein Jahr überhaupt nicht mehr strafbar gemacht. Zukünftig werde er sich gegen unberechtigte Strafbefehle zur Wehr setzen und sich nicht mehr strafbar machen. Die von ihm begangenen Delikte seien nicht sehr gravierend. Ferner sei zwar zutreffend, dass er die Unterhaltsbeiträge für seine Kinder nicht bezahlt habe. Er lebe jedoch seit Jahren in angespannten finanziellen Verhältnissen. Er hätte das Recht gehabt, die Unterhaltsbeiträge zu reduzieren oder aufheben zu lassen. Jedoch habe er dies zugunsten seiner Kinder unterlassen. Der Strafbefehl vom 7. November 2016 wegen Vernachlässigung von Unterhaltspflichten sei zu Unrecht ergangen. Entgegen der Auffassung der Vorinstanz bemühe er sich um seine wirtschaftliche Integration.
4.2. Nach Auflösung der Ehe oder der Familiengemeinschaft besteht der Anspruch des Ehegatten und der Kinder auf Erteilung und Verlängerung der Aufenthaltsbewilligung weiter, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und die Integrationskriterien nach Art. 58a AIG erfüllt sind. Art. 58a Abs. 1 AIG bestimmt, dass bei der Beurteilung der Integration die zuständige Behörde folgende Kriterien berücksichtigt: die Beachtung der öffentlichen Sicherheit und Ordnung (lit. a); die Respektierung der Werte der Bundesverfassung (lit. b); die Sprachkompetenzen (lit. c); und die Teilnahme am Wirtschaftsleben oder am Erwerb von Bildung (lit. d). Art. 77a ff. der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; SR 142.201) präzisiert die Integrationskriterien. Eine Nichtbeachtung der öffentlichen Sicherheit und Ordnung liegt laut Art. 77a Abs. 1 lit. a und lit. b VZAE insbesondere vor, wenn die betroffene Person gesetzliche Vorschriften und behördliche Verfügungen missachtet oder öffentlich-rechtliche oder privatrechtliche Verpflichtungen mutwillig nicht erfüllt. Eine Person nimmt am Wirtschaftsleben teil, wenn sie die Lebenshaltungskosten und Unterhaltsverpflichtungen durch Einkommen, Vermögen oder Leistungen Dritter deckt, auf die ein Rechtsanspruch besteht (vgl. Art. 77e Abs. 1 VZAE).
4.3. Es ist unter den Verfahrensbeteiligten unbestritten, dass der Beschwerdeführer das erste Erfordernis von Art. 50 Abs. 1 lit. a AIG - jenes der dreijährigen Ehegemeinschaft - erfüllt (vgl. Bst. B hiervor; E. II.3.1 des angefochtenen Urteils). Zu prüfen bleibt die erforderliche Integration des Beschwerdeführers.
4.3.1. Der Beschwerdeführer bestreitet nicht, dass er Mühe hat, sich an die Regeln des Zusammenlebens und der öffentlichen Ordnung zu halten. Er beanstandet die vorinstanzliche Feststellung nicht, wonach er in mindestens 18 Strafverfahren zu Geldstrafen von 510 Tagessätzen zwischen Fr. 30.-- und 150.-- sowie zu diversen Bussen verurteilt worden sei (vgl. E. II.4.1 des angefochtenen Urteils; vgl. auch Bst. B.c hiervor). Der Beschwerdeführer bringt zwar zutreffend vor, dass er keine schwerwiegenden Straftaten begangen habe. Es kann jedoch offenblieben, ob die verübten Delikte für sich allein die Integration des Beschwerdeführers infrage stellen. Jedenfalls bildet die Vielzahl von Delikten einen Aspekt der zu prüfenden Integration (vgl. Art. 77a Abs. 1 lit. a VZAE), der nicht zu seinen Gunsten ausfällt. Dass er sich seit einem Jahr straffrei verhalte, vermag daran nichts zu ändern (vgl. auch Urteil 2C_852/2020 vom 14. Januar 2021 E. 5.3.1).
4.3.2. Dem Beschwerdeführer ist zugute zu halten, dass er über gute Sprachkompetenzen verfügt. Er war während seines Aufenthalts in der Schweiz meist erwerbstätig und konnte damit seinen eigenen Lebensunterhalt wenigstens teilweise bestreiten. Dennoch bezog er bis im Mai 2020 Unterstützungsleistungen der Sozialhilfe im Umfang von Fr. 42'182.30. Insgesamt ist die wirtschaftliche Integration des Beschwerdeführers als gescheitert zu betrachten. Im Betreibungsregisterauszug vom 27. Januar 2020 sind insgesamt 98 Verlustscheine im Umfang von Fr. 189'664.25 verzeichnet. Er macht geltend, er sei bei der Übernahme eines Unternehmens getäuscht und betrogen worden. Nach den vorinstanzlichen Feststellungen erfolgte diese Übernahme von Stammanteilen am 13. Dezember 2016 (vgl. E. I.3 des angefochtenen Urteils). Der Beschwerdeführer hatte aber bereits im Juli 2015 Schulden im Umfang von Fr. 49'831.15. Er wurde deswegen bereits mit Verfügung vom 14. Dezember 2015 zum zweiten Mal verwarnt und darauf hingewiesen, er müsse die bestehenden Schulden abbauen und dürfe keine neuen Schulden anhäufen. Dass der Beschwerdeführer vor diesem Hintergrund mit der Übernahme einer Gesellschaft in schlechten finanziellen Verhältnissen seine eigene finanzielle Situation weiter verschlechterte, lässt sich mit dem unbelegten Argument, er sei betrogen worden, nicht rechtfertigen. Die Vorinstanz wirft dem Beschwerdeführer daher zu Recht vor, er habe sich - statt sich um eine Anstellung und ein regelmässiges Einkommen zu kümmern - ein weiteres Mal mit der Übernahme einer (insolventen) Gesellschaft von einem "Kollegen" erheblich verschuldet (vgl. E. 4.3 des angefochtenen Urteils). Der Beschwerdeführer hat folglich weiterhin in vorwerfbarer Weise mutwillig Schulden angehäuft, indem er diese trotz zweimaliger Verwarnung nahezu vervierfacht hat (vgl. Art. 77a Abs. 1 lit. b VZAE; Urteil 2C_496/2019 vom 13. November 2019 E. 4.4.).
4.3.3. Auch mit Blick auf die familiären Unterhaltspflichten ist von einer mangelhaften Integration auszugehen (vgl. Art. 58a Abs. 1 lit. d AIG i.V.m. Art. 77e Abs. 1 VZAE). Mit Strafbefehl der Staatsanwaltschaft des Kantons Solothurn vom 7. November 2016 wurde der Beschwerdeführer der Vernachlässigung von Unterhaltspflichten schuldig gesprochen. Gemäss Art. 217 Abs. 1 StGB bedingt der objektive Tatbestand, dass der Beschwerdeführer familienrechtlichen Unterhalts- oder Unterstützungspflichten nicht erfüllte, obschon er über die Mittel dazu verfügte oder verfügen konnte. Das Vorbringen des Beschwerdeführers, er hätte aufgrund seiner finanziellen Verhältnisse beantragen können, die Unterhaltsbeiträge zu reduzieren oder aufheben zu lassen, ist vor diesem Hintergrund nicht stichhaltig. Er bringt keine konkreten Anhaltspunkte vor, weshalb der Strafbefehl vom 7. November 2016 zu Unrecht ergangen sein sollte. Nicht zu überzeugen vermag dieses Vorbringen überdies aufgrund des Umstands, dass die öffentliche Hand die Unterhaltsbeiträge von Fr. 500.-- pro Kind seit Januar 2014 im Umfang von insgesamt Fr. 85'482.65 durchgehend bevorschusst hat.
4.4. Nach dem Gesagten mangelt es im Rahmen einer Gesamtbetrachtung an der erforderlichen Integration gemäss Art. 50 Abs. 1 lit. a AIG in Verbindung mit Art. 58a AIG. Dem Beschwerdeführer kommt daher kein eigenständiger, nachehelicher Aufenthaltsanspruch gestützt auf Art. 50 Abs. 1 lit. a AIG zu.
5.
Der Beschwerdeführer rügt sodann eine unrechtmässige Anwendung von Art. 50 Abs. 1 lit. b AIG.
5.1. Er bringt vor, die Vorinstanz habe die besonders enge Beziehung zwischen ihm und seinen beiden Kindern zu Unrecht nicht als persönlichen Grund anerkannt. Es komme ein weitergehender Anspruch in Betracht, da eine in affektiver und wirtschaftlicher Hinsicht besonders enge Beziehung zu den Kindern bestehe. Entgegen der vorinstanzlichen Auffassung leiste er anstelle der Unterhaltszahlungen wesentliche Naturalleistungen durch eine erhöhte Betreuung. Die Vorinstanz habe bloss eine für ihn ungünstige Interessenabwägung vorgenommen.
5.2. Gemäss Art. 50 Abs. 1 lit. b AIG besteht nach Auflösung der Ehe oder der Familiengemeinschaft der Anspruch des Ehegatten und der Kinder auf Erteilung und Verlängerung der Aufenthaltsbewilligung fort, wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (sogenannter nachehelicher Härtefall). Das Andauern der elterlichen Beziehung zum hier gefestigt anwesenheitsberechtigten Kind kann in diesem Rahmen einen wichtigen Grund zum Verbleib im Land bilden (vgl. BGE 144 I 91 E. 5.1; 140 II 289 E. 3.4.1). Es ist jeweils die Gesamtsituation zu würdigen und das Gesetzesrecht möglichst verfassungs- und konventionskonform anzuwenden (vgl. BGE 143 I 21 E. 4.1; Urteil 2C_1125/2014 vom 9. September 2015 E. 4.1). Das persönliche Interesse eines ausländischen Elternteils am Verbleib im Land vermag das öffentliche Interesse an einer einschränkenden Migrationspolitik regelmässig dann zu überwiegen, wenn zwischen dem ausländischen Elternteil und seinem im Inland lebenden Kind mit gefestigtem Aufenthaltsrecht eine enge Beziehung in affektiver wie wirtschaftlicher Hinsicht besteht, sich der um die Bewilligung nachsuchende Elternteil in der Schweiz einwandfrei verhalten hat und die Beziehung wegen der Distanz zwischen der Schweiz und dem Staat, in welchen er ausreisen müsste, praktisch nicht mehr aufrechterhalten werden könnte. Bei der Interessenabwägung ist dem Kindeswohl und dem grundlegenden Bedürfnis des Kindes Rechnung zu tragen, in möglichst engem Kontakt mit beiden Elternteilen aufwachsen zu können (vgl. BGE 144 I 91 E. 5.2; 143 I 21 E. 5.2 und E. 5.5; 142 II 35 E. 6.2 f.; 140 I 145 E. 3.2; 139 I 315 E. 2.2).
5.3. Die Kinder des Beschwerdeführers verfügen beide über eine Niederlassungsbewilligung. Gestützt auf diese elterliche Beziehung ist im Folgenden anhand der rechtsprechungsgemässen Kriterien zu prüfen, ob wichtige persönliche Gründe im Sinne von Art. 50 Abs. 1 lit. b AIG vorliegen.
5.3.1. Nach den Feststellungen der Vorinstanz betreut der Beschwerdeführer seine Kinder regelmässig alle zwei Wochen während des Wochenendes. Den Angaben des Beschwerdeführers zufolge sieht er sie auch unter der Woche. Der Kontakt zu seinen Kindern entspricht folglich mindestens der Ausübung des üblichen Besuchsrechts (vgl. Art. 273 Abs. 1 ZGB). Gemäss bundesgerichtlicher Rechtsprechung zu Art. 50 Abs. 1 lit. b AIG ist das Erfordernis der besonderen Intensität der affektiven Beziehung eines nicht sorgeberechtigten ausländischen Elternteils zu seinem in der Schweiz aufenthaltsberechtigten Kind - im Gegensatz zum Anspruch nach Art. 8 EMRK (vgl. BGE 144 I 91 E. 5.1; 139 I 315 E. 2.2) - bereits dann erfüllt, wenn der persönliche Kontakt im Rahmen eines nach heutigem Massstab üblichen Besuchsrechts ausgeübt wird (vgl. BGE 139 I 315 E. 2.5). Folglich liegt eine enge affektive Beziehung zwischen dem Beschwerdeführer und seinen Zwillingen vor.
5.3.2. Indessen fehlt es an sämtlichen anderen Kriterien, die einen nachehelichen Härtefall zu begründen vermögen: Wie bereits dargelegt, mangelt es an einer engen Beziehung in wirtschaftlicher Hinsicht (vgl. E. 4.3.3 hiervor). Der Beschwerdeführer hat sich in der Vergangenheit sodann nicht einwandfrei verhalten (vgl. Bst. B.c und E. 4.3.1 hiervor). Ausserdem kann der Kontakt zur Familie in Zukunft auch aus dem Kosovo mittels moderner Kommunikationsmittel und im Rahmen von gegenseitigen Besuchen zu einem gewissen Grad weiterhin gepflegt werden. Soweit der Beschwerdeführer in diesem Zusammenhang eine Verletzung von Art. 3 des Übereinkommens vom 20. November 1989 über die Rechte des Kindes (Kinderrechtskonvention, KRK; SR 0.107) rügt, trägt die vorinstanzliche Interessenabwägung auch diesen Vorgaben hinreichend Rechnung. Zwar wird der künftige Kontakt des Beschwerdeführers zu seinen Kindern nicht mehr die Intensität der heute gelebten Beziehung erreichen. Im Hinblick auf das Kindeswohl ist indes zu beachten, dass die Zwillinge in ihrem vertrauten Umfeld bei ihrer Mutter bleiben und unter den hiesigen Lebensbedingungen aufwachsen können. Insofern überdies die Integration des Beschwerdeführers auch im Rahmen des nachehelichen Härtefalls zu beachten ist, lässt sich auch daraus nichts zugunsten des Beschwerdeführers ableiten (vgl. E. 4.3 hiervor; Art. 31 Abs. 1 lit. a VZAE; Urteil 2C_582/2020 vom 10. Dezember 2020 E. 4.4.4).
5.4. Im Lichte des Dargelegten liegen keine wichtigen Gründe im Sinne von Art. 50 Abs. 1 lit. b AIG vor. Dem Beschwerdeführer kommt daher auch kein eigenständiger Aufenthaltsanspruch gestützt auf einen nachehelichen Härtefall zu.
6.
Der Beschwerdeführer bemängelt letztlich, die Vorinstanz habe nicht berücksichtigt, dass er am 20. Juli 2020 wieder eine in der Schweiz niedergelassene kosovarische Staatsangehörige geheiratet habe.
6.1. Die Vorinstanz beachtete die Eheschliessung zwar in tatsächlicher Hinsicht, indem sie darauf hinwies, der Beschwerdeführer habe mit Schreiben vom 7. Juli 2020 die Sistierung des vorinstanzlichen Verfahrens beantragt. Er habe das Sistierungsgesuch mit dem Umstand begründet, dass er am 20. Juli 2020 heiraten und anschliessend ein Gesuch um Familiennachzug stellen werde (vgl. E. I.13 des angefochtenen Urteils). In der Folge liess die Vorinstanz diesen Umstand indes ausser Acht.
6.2. Gegenstand des vorinstanzlichen Verfahrens war die Aufenthaltsbewilligung des Beschwerdeführers. Aufgrund welcher Rechtsgrundlagen und Sachverhaltselemente sich ein allfälliger Bewilligungsanspruch ergibt, ist nach der bundesgerichtlichen Rechtsprechung nicht eine Frage des Streitgegenstands, sondern der Begründung (vgl. Urteile 2C_800/2019 vom 7. Februar 2020 E. 3.4.2; 2C_1140/2015 vom 7. Juni 2016 E. 2.2.1 i.f.). Gemäss Art. 110 BGG muss mindestens ein kantonales Gericht das Recht von Amtes wegen anwenden und den Sachverhalt frei prüfen, soweit Letzterer in prozessual zulässiger Weise vorgebracht wurde (vgl. Urteil 2C_345/2015 vom 24. November 2015 E. 2.3; vgl. auch Urteil 2C_410/2020 vom 10. November 2020 E. 3.5.3, zur Publikation vorgesehen). Ein (kantonales) Novenverbot ist nicht zulässig, wenn im Kanton nur eine einzige gerichtliche Instanz besteht (vgl. BGE 135 II 369 E. 3.3; vgl. auch BGE 143 I 177 E. 2.5.3). In diesem Sinne hat die gerichtliche Instanz den Sachverhalt und dessen Entwicklung bis zum Entscheidzeitpunkt zu berücksichtigen (vgl. Urteile 2C_764/2020 vom 2. März 2021 E. 2.3 i.f.; 2C_573/2019 vom 14. April 2020 E. 2.4).
6.3. Vorliegend wies der Beschwerdeführer die Vorinstanz am 7. Juli 2020 darauf hin, dass er am 20. Juli 2020 eine niederlassungsberechtigte Person heiraten werde. Nachdem die Vorinstanz einen nachehelichen Aufenthaltsanspruch zu Recht verneint hatte (vgl. E. 4 und E. 5 hiervor), hätte sie als erste und einzige gerichtliche kantonale Instanz in ihrem Urteil vom 18. Januar 2021 die erneute Eheschliessung nicht nur erwähnen, sondern in ihre materielle Würdigung mit einbeziehen müssen. Die Vorinstanz unterliess demnach, von Amtes wegen zu prüfen, ob dem Beschwerdeführer aufgrund der neuerlichen Eheschliessung ein Aufenthaltsanspruch gestützt auf Art. 43 AIG zukommt. Entgegen der vom Migrationsamt in seiner Vernehmlassung geäusserten Auffassung ist nicht massgebend, dass die neue Ehefrau des Beschwerdeführers das Familiennachzugsgesuch erst nach Fällung des angefochtenen Urteils eingereicht hat.
6.4. Nach dem Dargelegten ist die Beschwerde in diesem Punkt gutzuheissen, das Urteil vom 18. Januar 2021 aufzuheben und die Angelegenheit zur Beurteilung des Aufenthaltsanspruchs im Sinne von Art. 43 AIG an die Vorinstanz zurückzuweisen. Bei Vorliegen eines entsprechenden Aufenthaltsanspruchs hat sie ebenso zu prüfen, ob dieser Anspruch aufgrund des erstellten Sachverhalts allenfalls erloschen ist (vgl. Art. 51 Abs. 2 lit. b AIG i.V.m. Art. 62 AIG).
7.
Zusammenfassend ergibt sich, dass der Beschwerdeführer keinen eigenständigen (nachehelichen) Aufenthaltsanspruch hat. Indessen hat die Vorinstanz unterlassen, zu prüfen, ob ihm ein Aufenthaltsanspruch gestützt auf die neuerliche Eheschliessung zukommt.
Im Ergebnis erweist sich die Beschwerde daher als begründet, weshalb sie gutzuheissen ist. Das Urteil vom 18. Januar 2021 ist aufzuheben. Die Angelegenheit ist zur (ergänzenden) Beurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Bei diesem Verfahrensausgang sind keine Gerichtskosten zu erheben (Art. 66 Abs. 4 BGG). Der anwaltlich vertretene Beschwerdeführer hat einen Anspruch auf Parteientschädigung (Art. 68 Abs. 1 BGG). Damit wird das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren gegenstandslos.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen.Das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 18. Januar 2021 wird aufgehoben.
2.
Die Angelegenheit wird zur ergänzenden Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht des Kantons Solothurn zurückgewiesen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Der Kanton Solothurn hat dem Beschwerdeführer eine Parteientschädigung von Fr. 2'000.-- zu entrichten.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Solothurn und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 2. Juni 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Zollinger