Sachverhalt:
A.
Der kosovarische Staatsangehörige A._ (geboren am xx.xx.1989) heiratete am 15. September 2010 im Kosovo die in der Schweiz seit 1995 niedergelassene serbische Staatsangehörige B._ (geboren am xx.xx.1992). A._ reiste im Rahmen des Familiennachzugs am 3. Mai 2012 in die Schweiz ein. Er verfügt seit dem 22. Mai 2012 über eine Aufenthaltsbewilligung, welche letztmals bis zum 21. Dezember 2017 verlängert wurde.
Das Ehepaar hat drei gemeinsame Töchter: C._ (geboren am xx.xx.2012) und die Zwillinge D._ und E._ (geboren am xx.xx.2017). Sie verfügen alle über Niederlassungsbewilligungen.
Mit Schreiben vom 5. Juni 2013 verwarnte die Migrationsbehörde den Beschwerdeführer anlässlich der Prüfung der Verlängerung der Aufenthaltsbewilligung, weil der Beschwerdeführer und seine Familie seit dem 1. Juni 2012 Sozialhilfe in der Höhe von Fr. 37'912.70 (Stand 1. Mai 2013) bezogen hatten. Das Migrationsamt teilte mit, es werde erwartet, dass der Beschwerdeführer künftig einer Arbeit nachgehe und ein Einkommen erwirtschafte, welches den Bedarf der Familie decke, sodass keine Sozialhilfegelder mehr beansprucht würden.
Nachdem sich die Fürsorgeabhängigkeit auf rund Fr. 160'000.-- erhöht hatte, verwarnte das Migrationsamt im Namen des Departement des Innern des Kantons Solothurn A._ mit Verfügung vom 22. Dezember 2016 und verlängerte seine Aufenthaltsbewilligung zwar um ein Jahr, drohte ihm aber die Nichtverlängerung seiner Aufenthaltsbewilligung und die Wegweisung an für den Fall, dass die Sozialhilfeabhängigkeit fortbestehe.
B.
Mit Verfügung vom 27. April 2018 teilte das Departement des Innern des Kantons Solothurn A._ mit, dass seine Aufenthaltsbewilligung nicht verlängert werde. Er werde weggewiesen und habe die Schweiz - unter Androhung von Zwangsmassnahmen im Unterlassungsfall - bis am 31. Juli 2018 zu verlassen. Ein hiergegen gerichtetes Gesuch um "Aufschiebung der Wegweisung" überwies das Migrationsamt an das Verwaltungsgericht des Kantons Solothurn, welches das Gesuch als Beschwerde entgegennahm und es mit Urteil vom 5. Dezember 2018 abwies. Überdies ordnete das Verwaltungsgericht an, dass A._ die Schweiz innert zwei Monaten nach der Rechtskraft seines Urteils zu verlassen habe (vgl. Ziff. 2 des Dispositivs des Urteils des Verwaltungsgerichts).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 4. Januar 2019 beantragt A._, dass das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 5. Dezember 2018 und die Verfügung des Departements des Innern vom 27. April 2018 vollumfänglich aufzuheben seien und das Migrationsamt anzuweisen sei, seine Aufenthaltsbewilligung zu verlängern. Eventualiter seien das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 5. Dezember 2018 und die Verfügung des Departements des Innern vom 27. April 2018 aufzuheben und die Sache an die Vorinstanz zurückzuweisen und diese sei anzuweisen, das Bewilligungsverfahren bis zum 31. Juli 2019 zu sistieren. Subeventualiter sei das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 5. Dezember 2018 und die Verfügung des Departements des Innern vom 27. April 2018 aufzuheben und die Sache zur vollständigen Sachverhaltsfeststellung und Neubeurteilung an die Vorinstanz zurückzuweisen. In prozessualer Hinsicht beantragt A._ ausserdem, dass der Beschwerde die aufschiebende Wirkung zu erteilen und ihm die unentgeltliche Rechtspflege unter Beiordnung von Rechtsanwalt Tobias Morandi zu gewähren sei.
Die Vorinstanz und das Departement des Innern des Kantons Solothurn haben sich vernehmen lassen und beantragen Abweisung der Beschwerde, soweit darauf eingetreten werde.
Mit Verfügung vom 8. Januar 2019 ist das Bundesgericht auf das Gesuch um aufschiebende Wirkung mangels Vollstreckbarkeit des angefochtenen Urteils nicht eingetreten.

Erwägungen:
1.
1.1. Auf dem Gebiet des Ausländerrechts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten im Zusammenhang mit Bewilligungen ausgeschlossen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen (Art. 83 lit. c Ziff. 2 BGG). Ob die jeweiligen Bewilligungsvoraussetzungen erfüllt sind, ist eine Frage der materiellen Beurteilung; für das Eintreten genügt, dass ein entsprechender Anwesenheitsanspruch in vertretbarer Weise geltend gemacht wird (vgl. <ref-ruling> E. 1.1 S. 179).
1.2. Der Beschwerdeführer beruft sich auf einen Anspruch auf Aufenthaltsbewilligung aus Art. 43 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer und über die Integration (AIG; SR 142.20; Titel vor dem 1. Januar 2019: Bundesgesetz über die Ausländerinnen und Ausländer, AuG) sowie auf Art. 8 EMRK und Art. 13 Abs. 1 BV. Art. 43 AIG räumt dem Beschwerdeführer einen Anspruch auf Aufenthalt bei seiner niederlassungsberechtigten Ehefrau ein; ob dieser Anspruch nach Art. 51 Abs. 2 lit. b AIG in Verbindung mit Art. 62 Abs. 1 lit. e AIG erloschen ist, wie die Vorinstanz erkannt hat, beurteilt das Bundesgericht im Rahmen der materiellen Prüfung (vgl. <ref-ruling> E. 1.1.5 S. 150; Urteil 2C_782/2018 vom 21. Januar 2019 E. 1.1).
1.3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (Art. 100 Abs. 1 BGG) und Form (Art. 42 BGG) eingereicht und richtet sich gegen einen Endentscheid einer letzten, oberen kantonalen Instanz (Art. 86 Abs. 1 lit. d und Abs. 2 BGG). Der Beschwerdeführer ist zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Soweit sich die Beschwerde gegen das Urteil des Verwaltungsgerichts richtet, ist darauf einzutreten. Nicht eingetreten werden kann hingegen auf den Antrag auf Aufhebung der Verfügung des Departements des Innern. Diese Verfügung ist durch das Urteil des Verwaltungsgericht ersetzt worden (sog. Devolutiveffekt; vgl. u.a. <ref-ruling> E. 1.4 S. 144).
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Das Bundesgericht prüft zwar grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 1.4.1 S. 254). Es ist allerdings weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 3 S. 415). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (Art. 106 Abs. 2 BGG). Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde vorgebracht und begründet worden sind (<ref-ruling> E. 2.5 S. 314).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 116). Der Beschwerdeführer kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Er hat deshalb substanziiert darzulegen, weswegen diese Voraussetzungen gegeben sein sollen; wird er dieser Anforderung nicht gerecht, bleibt es beim vorinstanzlich festgestellten Sachverhalt (<ref-ruling> E. 1.3.1 S. 18).
3.
Der Beschwerdeführer rügt, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig festgestellt, indem sie trotz des beigebrachten Arbeitsvertrags vom 22. September 2018 davon ausgegangen sei, der Beschwerdeführer und seine Familie seien weiterhin abhängig von der Sozialhilfe. Entgegen der Vorinstanz beziehe die Familie nämlich keine Sozialhilfe mehr, sondern nur noch Ergänzungsleistungen für einkommensschwache Familien. Zusammen mit diesen Ergänzungsleistungen genüge der Bruttolohn von Fr. 4'200.-- für die Finanzierung des Lebensunterhalts.
3.1. Die offensichtlich unrichtige Feststellung des Sachverhalts kann nur gerügt werden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Der Beschwerdeführer räumt ein, dass er und seine Familie Ergänzungsleistungen für einkommensschwache Familien beziehen. Vorab ist deshalb zu prüfen, ob solche Ergänzungsleistungen Sozialhilfe darstellen und deshalb allenfalls bereits nach der Sachverhaltsdarstellung des Beschwerdeführers ein Grund für die Nichtverlängerung der Aufenthaltsbewilligung vorliegt. In diesem Fall fehlte dem Vorbringen des Beschwerdeführers die Entscheidrelevanz.
3.1.1. Nach Art. 51 Abs. 2 lit. b AIG erlöschen die Ansprüche gemäss Art. 43 AIG, wenn Widerrufsgründe nach Art. 62 Abs. 1 AIG vorliegen. Ein solcher Grund ist nach dieser Bestimmung unter anderem anzunehmen, wenn die ausländische Person oder eine Person, für die sie zu sorgen hat, auf Sozialhilfe angewiesen ist (Art. 62 Abs. 1 lit. e AIG). Normzweck dieser Bestimmung ist in erster Linie, eine zusätzliche Belastung der öffentlichen Wohlfahrt zu vermeiden (vgl. Urteile 2C_23/2018 vom 11. März 2019; 2C_13/2018 vom 16. November 2018 E. 3.2). Für die Beurteilung der Gefahr der Sozialhilfeabhängigkeit ist von den aktuellen Verhältnissen auszugehen; die zu erwartende finanzielle Entwicklung ist aber auf längere Sicht abzuwägen. Der Widerruf bzw. die Nichtverlängerung der Bewilligung kommt in Betracht, wenn eine Person hohe finanzielle Unterstützungsleistungen erhalten hat und nicht damit gerechnet werden kann, dass sie in Zukunft für ihren Lebensunterhalt bzw. jenen ihrer Familie aufkommen können wird (<ref-ruling> E. 3c S. 8; Urteile 2C_442/2019 vom 11. September 2019 E. 3.1; 2C_780/2013 vom 2. Mai 2014 E. 3.3.1 und 2C_1228/2012 vom 20. Juni 2013 E. 2.3).
Der Beschwerdeführer und seine Familie haben bereits in erheblichem Umfang Sozialhilfe bezogen. Es kann nicht damit gerechnet werden, dass der Beschwerdeführer in den nächsten Jahren ohne die Ergänzungsleistungen für den Lebensunterhalt seiner Familie aufkommen können wird. Es erweist sich also als entscheidend, ob die Ergänzungsleistungen als Sozialhilfe einzustufen sind.
3.1.2. Der Begriff der Sozialhilfe gemäss Art. 62 Abs. 1 lit. e AIG ist in einem technischen Sinn zu verstehen. Er umfasst die traditionelle Sozialhilfe, nicht hingegen Leistungen der Sozialversicherungen, wie etwa jene der Arbeitslosenversicherung, die Ergänzungsleistungen gemäss Bundesgesetz vom 6. Oktober 2006 über Ergänzungsleistungen zur Alters-, Hinterlassenen- und Invalidenversicherung (ELG; SR 831.30) oder die Prämienverbilligungen gemäss Art. 65 Abs. 1 des Bundesgesetzes vom 18. März 1994 über die Krankenversicherung (KVG; SR 832.10; vgl. <ref-ruling> E. 5.1 S. 404; Urteil 2C_95/2019 vom 13. Mai 2019 E. 3.4.2).
3.1.3. In <ref-ruling> erkannte das Bundesgericht, dass die Integrationszulagen nach dem Recht des Kantons Tessin ebenfalls keine Sozialhilfe darstellen. Entscheidend war, dass diese Leistungen nicht primär eine sozial-, sondern gleich wie die bundesrechtlichen Familienzulagen nach dem Bundesgesetz vom 24. März 2006 über die Familienzulagen (FamZG; SR 836.2) eine familienpolitische Stossrichtung hatten (vgl. <ref-ruling> E. 6.2.2 S. 408 f.). Sie werden überdies zumindest teilweise wie Sozialversicherungen unmittelbar durch Lohn- und Einkommensbeiträge finanziert (vgl. Art. 73 des Legge del 18 dicembre 2008 sugli assegni di famiglia des Kantons Tessin [RL/TI 856.100]).
3.1.4. Im Urteil 2C_95/2019 vom 13. Mai 2019 kam das Bundesgericht sodann zum Schluss, dass es sich auch bei der rente-pont gemäss Recht des Kantons Waadt nicht um Sozialhilfe im Sinne von Art. 62 Abs. 1 lit. e AIG handelt (vgl. Art. 16 Abs. 1 des Loi vaudoise du 23 novembre 2010 sur les prestations complémentaires cantonales pour familles et les prestations cantonales de la rente-pont [LPCFam/VD; RS/VD 850.053]; Urteil 2C_95/2019 vom 13. Mai 2019 E. 3.4.4). Bei diesen Leistungen geht es darum, Personen, die nahe beim Pensionsalter sind und bei der Arbeitslosenversicherung ausgesteuert sind, eine Überbrückung bis zur Pensionierung zu gewähren. Auch hier besteht ein Konnex zu den Sozialversicherungen, namentlich zur Arbeitslosenversicherung sowie zur AHV und der beruflichen Vorsorge. Überdies wird die rente-pont teilweise durch Lohn- und Einkommensbeiträge finanziert (vgl. Art. 24 LPCFam/VD).
3.1.5. Die Ergänzungsleistungen für einkommensschwache Familien nach § 85bis ff. des Sozialgesetzes vom 31. Januar 2007 des Kantons Solothurn (SG/SO; BGS 831.1) bezwecken die Bekämpfung der Armut in Familien, insbesondere in Working-Poor-Haushalten, unter Entlastung der Sozialhilfe (vgl. Botschaft und Entwurf des Regierungsrates an den Kantonsrat von Solothurn vom 26. April 2016, RRB Nr. 2016/744, RG 0068/2016, S. 3). Die Bemessung dieser Leistungen orientiert sich an jener der Ergänzungsleistungen zur AHV und IV, indem anerkannte Ausgaben und anrechenbare Einnahmen einander gegenübergestellt werden und die Ergänzungsleistungen anhand des Fehlbetrags bis zu einem Maximalbetrag festgesetzt werden (vgl. § 85quater Abs. 1 SG/SO).
3.1.6. Die Ergänzungsleistungen für einkommensschwache Familien nach dem Recht des Kantons Solothurn schliessen zwar gesetzestechnisch und methodisch an die bundesrechtlichen Ergänzungsleistungen zur AHV/IV an. Im Unterschied zu diesen haben sie aber materiell keinerlei Konnex zu den Sozialversicherungen. Sie werden wie die Geldleistungen der Sozialhilfe geleistet, wenn der Bedarf die anrechenbaren Einnahmen übersteigt (vgl. § 10 Abs. 2 und 152 SG/SO [unter Hinweis auf die SKOS-Richtlinien] mit § 85bis und 85quater ff. SG/SO). Sie werden aus allgemeinen Staatsmitteln finanziert (§ 54 Abs. 3, § 55 Abs. 1 lit. a und § 172 Abs. 1 lit. b Ziff. 5 SG/SO) und sind subsidiär zu den bundesrechtlichen Ergänzungsleistungen zur AHV/IV (§ 85ter Abs. 1 SG/SO). Anders als bei den vom Bundesgericht beurteilten Leistungen des Tessiner und Waadtländer Rechts (oben E. 3.1.3 und 3.1.4) ist kein materieller Unterschied zu der Sozialhilfe im technischen Sinne zu erkennen. Den Ergänzungsleistungen für einkommensschwache Familien nach dem Recht des Kantons Solothurn kommt folglich Sozialhilfecharakter im Sinne von Art. 62 Abs. 1 lit. e AIG zu.
3.2. Nach den Feststellungen der Vorinstanz hatten der Beschwerdeführer und seine Familie zwischen Juli 2012 und Januar 2018 Sozialhilfe in einem Umfang (Fr. 183'753.25) bezogen, der nach der Rechtsprechung als erheblich zu qualifizieren ist (vgl. Urteile 2C_23/2018 vom 11. März 2019 E. 4.2.1; 2C_120/2015 vom 21. Februar 2016 E. 3.4.2 mit Hinweisen). Wenn auch die kantonalen Ergänzungsleistungen des Beschwerdeführers und seiner Familie als Sozialhilfe im Sinne von Art. 62 Abs. 1 lit. e AIG einzustufen sind, tut es nichts zur Sache, dass die Vorinstanz dem Arbeitsvertrag kein Gewicht beigemessen hat. Denn selbst wenn diese neue Stelle entgegen der Einschätzung der Vorinstanz nachhaltig wäre, änderte dies nichts an der fortgesetzten Sozialhilfeabhängigkeit des Beschwerdeführers. Es ist nicht vorauszusehen, dass der Beschwerdeführer und seine Familie in absehbarer Zukunft ihren Unterhalt ohne Inanspruchnahme der Ergänzungsleistungen für einkommensschwache Familien bestreiten können. Somit ging die Vorinstanz zu Recht vom Vorliegen des Widerrufsgrunds nach Art. 62 Abs. 1 lit. e AIG aus.
4.
4.1. Die Nichtverlängerung der Aufenthaltsbewilligung mit anschliessender Wegweisung des Beschwerdeführers aus der Schweiz, wo sich seine Ehefrau und die gemeinsamen Kinder mit Niederlassungsbewilligungen aufhalten und mit denen der Beschwerdeführer in gemeinsamem Haushalt wohnt, würde einen Eingriff in das Recht auf Familienleben (Art. 8 Ziff. 1 EMRK) bedeuten (vgl. <ref-ruling> E. 6.1 S. 100 f.). Das Erlöschen des Anspruchs auf Verlängerung der Aufenthaltsbewilligung nach Art. 43 AIG steht deshalb unter dem Vorbehalt der Verhältnismässigkeit dieser Massnahme (Art. 96 Abs. 1 AIG, Art. 5 Abs. 2 BV, Art. 8 Ziff. 2 EMRK). Es ist eine Interessenabwägung zwischen dem in Art. 62 Abs. 1 lit. e AIG verankerten öffentlichen Fernhalteinteresse und den privaten Interessen an einem weiteren Verbleib in der Schweiz vorzunehmen. Zu diesen privaten Interessen gehört auch das Interesse der Kinder des Beschwerdeführers, möglichst mit beiden Elternteilen gemeinsam aufwachsen zu können und nicht von ihnen getrennt zu werden (<ref-ruling> E. 5.5 S. 29 ff.; <ref-ruling> E. 4.3 S. 381 f.).
4.2. Zunächst sind die öffentlichen Fernhalteinteressen zu gewichten.
4.2.1. Mit Blick auf diese Gewichtung unterscheidet die Rechtsprechung, ob die Sozialhilfeabhängigkeit selbstverschuldet ist oder nicht (Urteile 2C_23/2018 vom 11. März 2019 E. 4.2.2; 2C_775/2017 vom 28. März 2018 E. 3.2; 2C_395/2017 vom 7. Juni 2018 E. 3.2). Das Departement des Innern und ihm folgend die Vorinstanz bejahten ein Selbstverschulden des Beschwerdeführers. Erst anlässlich der Androhung der Nichtverlängerung der Aufenthaltsbewilligung Ende 2016 hätten der Beschwerdeführer und seine Ehefrau den Willen bekundet, sich am Wirtschaftsleben zu beteiligen. Die Einsatzbereitschaft des Beschwerdeführers habe stets zu wünschen übrig gelassen. Das zeige sich auch am Umstand, dass sich der Beschwerdeführer auch sprachlich nie integriert habe. Mithilfe seiner Ehefrau, die der deutschen Sprache mächtig ist, wäre es dem Beschwerdeführer möglich und zumutbar gewesen, Deutsch zu lernen.
Zugunsten des Beschwerdeführers fällt ins Gewicht, dass er im Jahr 2018 offenbar zwei Stellen angetreten hat, auch wenn die Vorinstanz wie erwähnt in Zweifel zieht, dass die zweite, unbefristete Stelle von Dauer sein wird.
Die Sozialhilfeabhängigkeit des Beschwerdeführers ist jedenfalls nicht unverschuldet, hat der Beschwerdeführer doch mehrere Verwarnungen nicht beachtet und sich erst kurz vor dem Urteil der Vorinstanz ernstlich um Arbeit bemüht und schliesslich zwei Stellen gefunden. Es besteht ein erhebliches öffentliches Interesse an seiner Ausreise.
4.3. Den öffentlichen Fernhalteinteressen gegenüber zu stellen sind die privaten Interessen des Beschwerdeführers an einem Verbleib in der Schweiz.
4.3.1. Der Beschwerdeführer kam im Alter von 23 Jahren in die Schweiz, nachdem er die prägenden Kindes- und Jugendjahre in der Heimat zurückgelegt hatte. Im Zeitpunkt des angefochtenen Urteils hatte er 6.5 Jahre hier verbracht. Wie das Departement des Innern und ihm folgend die Vorinstanz festgestellt hatte, ist der Beschwerdeführer weiterhin bestens mit den Gepflogenheiten in seinem Heimatland vertraut. Die Integration in der Schweiz ist ihm hingegen nie gelungen.
Des Weiteren hatte der Beschwerdeführer der Vorinstanz mitgeteilt, dass er seit dem 17. April 2018 in ambulanter psychiatrisch-psychotherapeutischer Behandlung und in regelmässiger Ergo- und Physiotherapie gestanden hätte. Überdies sei wegen des verschlechterten Gesundheitszustands eine Wiederanmeldung bezüglich Unterstützung bei der beruflichen Eingliederung bei der IV-Stelle Solothurn veranlasst worden. Ob diese gesundheitlichen Probleme auch im Zeitpunkt des Urteils der Vorinstanz noch fortbestanden, ist zweifelhaft, hatte der Beschwerdeführer doch im Juni und im September 2018 zwei Arbeitsverträge beigebracht. So oder anders beruft sich der Beschwerdeführer vor Bundesgericht aber nicht mehr auf seinen Gesundheitszustand. Er macht auch nicht geltend, dass ihm in seinem Heimatland keine adäquaten Behandlungsoptionen zur Verfügung stünden. Vor diesem Hintergrund ist nicht zu beanstanden, dass die Vorinstanz das persönliche Interesse des Beschwerdeführers an seinem Verbleib in der Schweiz nicht besonders hoch gewichtete.
4.3.2. Von grösserer Bedeutung ist demgegenüber das Interesse seiner Familie, dass die Kinder in einem Haushalt mit beiden Elternteilen aufwachsen. Allerdings ist nicht zu übersehen, dass auch die Ehefrau bei fortdauerndem Sozialhilfebezug Gefahr laufen wird, ihren Aufenthaltstitel zu verlieren. Darauf hatte denn auch bereits das Departement des Innern hingewiesen. Entgegen der Ansicht des Beschwerdeführers stellt die absehbare Sozialhilfeabhängigkeit seiner Ehefrau im Falle seiner Wegweisung denn auch kein überzeugendes Argument dar für seinen eigenen Verbleib in der Schweiz. Des Weiteren erscheint es der Ehefrau und den Kindern auch nicht als schlechterdings unzumutbar, den Beschwerdeführer zu begleiten und sich im Kosovo oder in Serbien - dem Heimatland der Ehefrau - niederzulassen, zumal das Departement des Innern festgestellt hatte, dass sich die Heimatorte der Ehegatten in Kosovo und Serbien in unmittelbarer Nähe befänden.
4.4. Zusammengefasst ergibt sich, dass die privaten Interessen des Beschwerdeführers und seiner Familie vom erheblichen öffentlichen Interesse an seiner Wegweisung überwogen werden. Die Aufenthaltsbeendigung erweist sich als verhältnismässig. Die Vorinstanz hat es folglich zu Recht abgelehnt, die Aufenthaltsbewilligung des Beschwerdeführers nach Art. 43 AIG zu verlängern, da sein Anspruch hierauf nach Art. 51 Abs. 2 lit. b in Verbindung mit Art. 62 Abs. 1 lit. e AIG erloschen war.
5.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf einzutreten ist (vgl. oben E. 1.3). Der Beschwerdeführer wäre demnach grundsätzlich kostenpflichtig (Art. 66 Abs. 1 BGG). Er hat aber um unentgeltliche Rechtspflege nach Art. 64 Abs. 1 BGG ersucht. Da die Beschwerde nicht aussichtslos war, ist diesem Antrag zu entsprechen. Der Kanton Solothurn hat keinen Anspruch auf Parteientschädigung (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen. Es werden keine Gerichtskosten erhoben. Dem Beschwerdeführer wird Rechtsanwalt Tobias Morandi als unentgeltlicher Rechtsbeistand beigegeben. Ihm wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'000.-- ausgerichtet.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Solothurn und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 31. Oktober 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Seiler