Sachverhalt:
A.
A.a. Der kosovarische Staatsangehörige A._ (geb. 5. März 1975) reiste am 4. April 1997 in die Schweiz ein, wo er um Asyl ersuchte. Am 16. Juni 1997 wurde sein Asylgesuch abgelehnt und er wurde aus der Schweiz weggewiesen.
Am 13. März 1998 heiratete A._ die in der Schweiz niederlassungsberechtigte kosovarische Staatsangehörige B._ (geb. 4. Dezember 1979), worauf ihm eine Aufenthaltsbewilligung erteilt wurde. Aus der Ehe gingen drei Kinder (geb. 1998, 2000 und 2004) hervor, die heute alle im Besitz einer Niederlassungsbewilligung sind.
A._ stellte sowohl im Jahr 2008 als auch im Jahr 2010 ein Gesuch um Erteilung einer Niederlassungsbewilligung. Beiden Gesuchen wurde wegen seiner finanziellen Situation nicht entsprochen.
A.b. Mit Schreiben der Migrationsbehörde vom 21. März 2013 wurde A._ aufgrund der angehäuften Schulden (79 Verlustscheine in der Höhe von Fr. 99'080.10) sowie wegen Sozialhilfebezugs im Umfang von Fr. 61'079.15 ermahnt.
Gemäss Auszügen aus dem Betreibungsregister war A._ per 21. Oktober 2014 mit 102 offenen Verlustscheinen in der Höhe von Fr. 134'855.65 sowie per 21. April 2015 mit 107 offenen Verlustscheinen in der Höhe von Fr. 144'567.90 verzeichnet. Bis zum 21. April 2015 bezog er Sozialhilfeleistungen im Umfang von Fr. 86'055.95.
A.c. Im Zeitraum von 2009 bis 2016 erwirkte A._ folgende Verurteilungen: mit Strafbefehl der Staatsanwaltschaft See/Oberland vom 5. Februar 2009 zu einer Geldstrafe von 25 Tagessätzen zu je Fr. 50.--, bedingt aufgeschoben bei einer Probezeit von zwei Jahren und zu einer Busse von Fr. 800.-- wegen grober Verletzung der Verkehrsregeln; mit Strafbefehl der Staatsanwaltschaft Solothurn vom 12. Januar 2016 zu einer Geldstrafe von 60 Tagessätzen zu je 30 Franken, bedingt aufgeschoben bei einer Probezeit von zwei Jahren und zu einer Busse von Fr. 800.-- wegen mehrfacher Drohung (häuslicher Gewalt), mehrfacher Beschimpfung, Tätlichkeiten und mehrfachen Ungehorsams gegen amtliche Verfügungen; mit Strafbefehl der Staatsanwaltschaft Solothurn vom 16. Februar 2016 zu einer Geldstrafe von 80 Tagessätzen zu je Fr. 30.--, bedingt aufgeschoben bei einer Probezeit von zwei Jahren und zu einer Busse von Fr. 600.-- wegen Betrugs (vgl. E. II.6.5 des angefochtenen Urteils). Ferner ergingen gegen ihn im Zeitraum von 2006 bis 2018 sieben Strafbefehle zu Bussen wegen SVG-Delikten.
A.d. Wegen laufender Abklärungen der Invalidenversicherung wurde A._ die Aufenthaltsbewilligung mit Verfügung vom 19. Mai 2015 verlängert, unter der Bedingung, dass er im Rahmen seiner Möglichkeiten einer Erwerbstätigkeit nachgehe, sich mit seiner Familie von der Sozialhilfe ablöse, keine neuen Schulden anhäufe, die bestehenden Schulden abbaue und nicht straffällig werde.
Seit dem 19. Juni 2015 leben A._ und seine Ehefrau getrennt.
A.e. Mit Beschluss der Invalidenversicherung vom 9. Februar 2016 wurde A._ ab dem 1. April 2015 eine Viertels-Rente und ab dem 1. Juli 2015 eine halbe Rente zugesprochen. Sein Invaliditätsgrad wurde auf 53 % festgesetzt. Mit der IV-Rente und den Ergänzungsleistungen ist es A._ gelungen, sich von der Sozialhilfe zu lösen.
Gemäss Auszügen aus dem Betreibungsregister war A._ per 1. Februar 2017 mit 133 offenen Verlustscheinen in der Höhe von Fr. 173'697.45, per 12. März 2018 mit 144 offenen Verlustscheinen in der Höhe von Fr. 187'663.20 und per 17. Mai 2018 mit 147 offenen Verlustscheinen in der Höhe von Fr. 191'249.90 verzeichnet.
B.
Mit Verfügung vom 7. Dezember 2018 verlängerte das Migrationsamt, namens des Departements des Innern des Kantons Solothurn, die gestützt auf Art. 43 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20; ab 1. Januar 2019: Bundesgesetz über die Ausländerinnen und Ausländer und über die Integration [AIG]) erteilte Aufenthaltsbewilligung infolge Trennung nicht, verneinte einen Anspruch auf Erteilung einer Aufenthaltsbewilligung gestützt auf Art. 50 AuG und wies A._ unter Androhung von Zwangsmassnahmen im Unterlassungsfall an, die Schweiz bis 28. Februar 2019 zu verlassen.
Die dagegen erhobene Beschwerde von A._ wies das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 30. April 2019 ab. A._ wurde angewiesen, die Schweiz innert zwei Monaten ab Rechtskraft des Urteils zu verlassen.
C.
Gegen dieses Urteil des Verwaltungsgerichts erhebt A._ mit Eingabe vom 3. Juni 2019 (Postaufgabe) Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Er beantragt, das angefochtene Urteil und die Verfügung des Migrationsamt vom 7. Dezember 2018 seien aufzuheben und es sei ihm die Aufenthaltsbewilligung zu verlängern. Eventuell sei ihm eine von der Familiengemeinschaft unabhängige Aufenthaltsbewilligung zu erteilen. Schliesslich sei er nicht aus der Schweiz wegzuweisen. In verfahrensrechtlicher Hinsicht ersucht er um Erteilung der aufschiebenden Wirkung in Bezug auf die Wegweisung und um Gewährung der unentgeltlichen Rechtspflege und -verbeiständung.
Das Verwaltungsgericht und das Migrationsamt, namens des Departements des Innern, schliessen auf Abweisung der Beschwerde und verzichten im Übrigen auf Vernehmlassung.
Mit Verfügung vom 6. Juni 2019 ist der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts auf das Gesuch um Gewährung der aufschiebenden Wirkung im Sinne der Erwägungen nicht eingetreten, weil das Urteil des Verwaltungsgerichts bis zum Abschluss des bundesgerichtlichen Verfahrens nicht rechtskräftig wird.
Erwägungen:
1.
1.1. Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen. Ein bundes- oder völkerrechtlicher Anspruch auf Erteilung einer Aufenthaltsbewilligung besteht grundsätzlich nur dann, wenn sich der Ausländer oder seine in der Schweiz lebenden Angehörigen auf eine Sondernorm des Bundesrechts oder eines Staatsvertrags berufen können (BGE 130 II 281 E. 2.1 S. 284; 128 II 145 E. 1.1.1 S. 148; Urteile 2C_202/2018 vom 19. Juli 2019 E. 1.1; 2C_381/2018 vom 29. November 2018 E. 1.2).
1.2. Der Beschwerdeführer beruft sich in vertretbarer Weise auf Art. 50 Abs. 1 AIG sowie auf den Schutz seines Privat- und Familienlebens (Art. 8 EMRK; Art. 13 Abs. 1 BV), was für das Eintreten auf die Beschwerde unter dem Aspekt von Art. 83 lit. c Ziff. 2 BGG genügt. Die Frage, ob der Bewilligungsanspruch tatsächlich besteht, bildet Gegenstand der materiellen Prüfung (BGE 139 I 330 E. 1.1 S. 332; 136 II 177 E. 1.1 S. 179). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - vorbehältlich E. 1.3 und 1.4 hiernach - auf die Beschwerde einzutreten (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG).
1.3. Gegen den Wegweisungsentscheid ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig (Art. 83 lit. c Ziff. 4 BGG). Es ist zu prüfen, ob der entsprechende Antrag als subsidiäre Verfassungsbeschwerde nach Art. 113 ff. BGG entgegengenommen werden kann. Diese ist zulässig, soweit sich die betroffene ausländische Person auf besondere verfassungsmässige Rechte berufen kann, die ihr unmittelbar ein rechtlich geschütztes Interesse im Sinne von Art. 115 lit. b BGG verschaffen. Derartige Rechte sind etwa der Schutz des Lebens (Art. 10 Abs. 1 BV bzw. Art. 2 EMRK), das Verbot jeder Art grausamer, unmenschlicher oder erniedrigender Behandlung oder Bestrafung (Art. 10 Abs. 3 BV bzw. Art. 3 EMRK) oder das Verbot einer Ausschaffung in einen Staat, in welchem der betroffenen Person Folter oder eine andere Art grausamer und unmenschlicher Behandlung oder Bestrafung droht (Art. 25 Abs. 3 BV; vgl. BGE 137 II 305 E. 3.3 S. 310; Urteil 2C_636/2017 vom 6. Juli 2018 E. 1.3 mit Hinweisen). Die entsprechenden Rügen müssen jeweils rechtsgenügend begründet werden (Art. 116 i.V.m. Art. 106 Abs. 2 BGG; vgl. BGE 137 II 305 E. 3.3 S. 310; Urteil 2C_381/2018 vom 29. November 2018 E. 1.3).
Der Beschwerdeführer rügt keines der erwähnten besonderen verfassungsmässigen Rechte als verletzt. Auf den Antrag, er sei aus der Schweiz nicht wegzuweisen, ist deshalb nicht einzutreten.
1.4. Anfechtungsobjekt des bundesgerichtlichen Verfahrens kann nur das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 30. April 2019 sein (Art. 86 Abs. 1 lit. d BGG). Soweit in der Beschwerde die Aufhebung der Verfügung des Migrationsamtes vom 7. Dezember 2018 beantragt wird, ist darauf nicht einzutreten. Diese wurde durch das Urteil des Verwaltungsgerichts ersetzt (Devolutiveffekt). Sie gilt als inhaltlich mitangefochten, kann aber vor Bundesgericht nicht eigenständig beanstandet werden (BGE 134 II 142 E. 1.4 S. 144; Urteil 2C_204/2015 vom 21. Juli 2015 E. 1.2).
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG; BGE 142 I 155 E. 4.4.5 S. 157) und verfügt es über volle Kognition (Art. 95 BGG; BGE 141 V 234 E. 2 S. 236). Die Anwendung kantonalen Rechts prüft das Bundesgericht hingegen - abgesehen von den Fällen gemäss Art. 95 lit. c-e BGG - nur auf Bundesrechtsverletzungen, namentlich auf Willkür, hin (BGE 141 I 36 E. 1.3 S. 41; 138 I 143 E. 2 S. 150). In Bezug auf die Verletzung von Grundrechten und von kantonalem Recht gilt eine qualifizierte Rüge- und Substanziierungspflicht (Art. 106 Abs. 2 BGG; BGE 142 I 99 E. 1.7.2 S. 106; 139 I 229 E. 2.2 S. 232).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die tatsächlichen Feststellungen der Vorinstanz nur berichtigen oder ergänzen, sofern sie offensichtlich unrichtig sind oder auf einer anderen Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 105 Abs. 2 BGG). Eine Sachverhaltsrüge ist substanziiert vorzubringen; auf rein appellatorische Kritik an der Sachverhaltsdarstellung bzw. Beweiswürdigung geht das Gericht nicht ein (BGE 140 III 264 E. 2.3 S. 266; 139 II 404 E. 10.1 S. 444 f.; Urteile 2C_807/2018 vom 28. September 2018 E. 2.3; 2C_1027/2016 vom 10. Mai 2017 E. 2.2).
2.3. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (BGE 143 V 19 E. 1.2 S. 22 f. mit Hinweisen). Dieser Grundsatz gilt für alle Verfahrensbeteiligten. Folglich sind die vom Migrationsamt eingereichten Unterlagen aus dem Monat Mai 2019 (Aktennotizen vom 20., 23. und 24. Mai 2019, Schreiben des Rechtsvertreters des Beschwerdeführers vom 23. Mai 2019 und Visa-Quittung vom 28. Mai 2019) im vorliegenden Verfahren unbeachtlich.
3.
Der Beschwerdeführer rügt zunächst, die Verfügung des Departements des Innern vom 7. Dezember 2018 weise eine falsche Absenderangabe auf. Sie sei vom Migrationsamt auf dessen Geschäftspapier erlassen worden und nicht vom eigentlich zuständigen Departement des Innern. Ferner sei nicht klar, ob die Unterschriftenregelung eingehalten worden sei, da der Unterschrift ein "i.V." vorangehe. Es sei völlig unklar, wer die Verfügung unterschrieben habe und ob diese Person unterschriftsberechtigt gewesen sei.
3.1. Vorliegend richten sich die Zuständigkeiten der Behörden zum Vollzug des Bundesgesetzes über die Ausländerinnen und Ausländer sowie die Unterschriftsberechtigungen nach kantonalem Recht, dessen Anwendung das Bundesgericht nur auf Willkür hin prüft (vgl. E. 2.1 hiervor).
Gemäss § 2 Abs. 1 der Einführungsverordnung des Kantons Solothurn vom 21. Juli 2011 (EAuV/SO; BGS 512.153) vollzieht das Departement das Bundesgesetz über die Ausländerinnen und Ausländer und das Asylgesetz, soweit das Bundesrecht oder kantonale Vorschriften keine andere Behörde bezeichnen. Gemäss Anhang 1 zur Verordnung des Kantons Solothurn vom 11. April 2000 über die Organisation des Regierungsrates und der Verwaltung (RVOV/SO; BGS 122.112) ist das Departement des Innern die zuständige Behörde im Ausländerwesen. Die Unterschriftsberechtigung richtet sich nach der kantonalen Verordnung vom 25. Mai 2004 über die Delegation der Unterschriftsberechtigung in den Departementen (BGS 122.218). Gemäss § 4 Abs. 1 lit. lbis dieser Verordnung sind Verfügungen nach der Gesetzgebung über die Ausländerinnen und Ausländer und nach der Asylgesetzgebung namens des Departements von den Leitern der Abteilungen und vom Leiter Rechtsdienst des Migrationsamtes zu unterzeichnen. § 4 Abs. 1 lit. l Ziff. 2 der Verordnung sieht die Unterzeichnungsberechtigung des Chefs des Migrationsamts bezüglich der den einzelnen Leitern der Abteilungen des Migrationsamtes zugewiesenen Verrichtungen vor. Schliesslich sind bezüglich Verfügungen nach der Gesetzgebung über die Ausländerinnen und Ausländer auch Verwaltungsjuristen des Migrationsamtes unterschriftsberechtigt (§ 4 Abs. 1 lit. lter der Verordnung über die Delegation der Unterschriftsberechtigung/SO).
3.2. Die Vorinstanz hat die Zuständigkeit des Departements des Innern zum Vollzug des Ausländergesetzes unter Hinweis auf § 2 Abs. 1 EAuV/SO und den Anhang zur RVOV/SO bejaht. Sie hat sodann festgehalten, der strittigen Verfügung vom 7. Dezember 2018 könne klar entnommen werden, dass das Departement des Innern verfügt habe. Ferner sei aus der Unterschrift ersichtlich, dass das Migrationsamt "namens des Departements des Innern" verfügt habe. Das Verwaltungsgericht ist daher zum Schluss gekommen, dass die Verfügung vom zuständigen Departement erlassen worden sei. Daran ändere auch der Umstand nichts, dass im Briefkopf lediglich das Migrationsamt angegeben worden sei (vgl. E. II.3 des angefochtenen Urteils). Der Beschwerdeführer zeigt nicht substantiiert auf, inwiefern die Vorinstanz das massgebende kantonale Recht willkürlich angewendet haben soll (vgl. E. 2.1 und E. 3.1 hiervor), so dass auf seine diesbezüglichen Ausführungen nicht weiter einzugehen ist.
In Bezug auf die Unterschrift hat die Vorinstanz ausgeführt, die strittige Verfügung sei von dem gemäss § 4 Abs. 1 lit. l der kantonalen Verordnung über die Delegation der Unterschriftsberechtigung in den Departementen zuständigen Amtschef unterzeichnet worden. Dass die Unterzeichnung "i.V." erfolgt und nicht leserlich sei, ändere nichts daran, zumal auch Verwaltungsjuristen unterschriftsberechtigt seien (vgl. E. II.3 des angefochtenen Urteils). Der Beschwerdeführer zeigt auch in dieser Hinsicht nicht substantiiert auf, dass die Vorinstanz das kantonale Recht willkürlich angewendet hat (vgl. E. 2.1 und E. 3.1 hiervor). Soweit der Beschwerdeführer auch eine willkürliche Sachverhaltsfeststellung geltend machen will, gelingt es ihm nicht, rechtsgenügend darzutun, inwiefern die tatsächlichen Feststellungen der Vorinstanz offensichtlich unrichtig bzw. willkürlich sein sollen (Art. 105 Abs. 2 BGG; vgl. E. 2.2 hiervor). Die blosse Möglichkeit, dass die strittige Unterschrift von einer unberechtigten Person stammen könnte, genügt dazu nicht.
4.
Der Beschwerdeführer, der unbestrittenermassen von seiner Ehefrau getrennt lebt, beruft sich auf Art. 50 Abs. 1 lit. a und b AIG sowie auf den Schutz des Privat- und Familienlebens gemäss Art. 8 EMRK und Art. 13 Abs. 1 BV.
4.1. Vorab ist mit Bezug auf das anwendbare Recht festzuhalten, dass die Verfügung des Departements des Innern am 7. Dezember 2018 erging. Per 1. Januar 2019 wurden verschiedene Bestimmungen des AIG geändert, darunter auch der hier interessierende Art. 50 Abs. 1 lit. a AIG (vgl. AS 2017 6521). Da der Gesetzgeber keine besonderen Übergangsbestimmungen zu Art. 50 Abs. 1 lit. a AIG erliess, gelangt die revidierte Bestimmung - entgegen den Behauptungen des Beschwerdeführers - hier nicht zur Anwendung (vgl. Art. 126 Abs. 1 AIG; Urteil 2C_616/2019 vom 19. August 2019 E. 7.1; vgl. auch Urteile 2C_938/2018 vom 24. Juni 2019 E. 5.1; 2C_481/2018 vom 11. Juli 2019 E.1.1). Abzustellen ist somit auf die massgebenden Bestimmungen des Ausländergesetzes (AuG) in der Fassung vom 16. Dezember 2005 (in Kraft bis 31. Dezember 2018; vgl. AS 2007 5437).
4.2. Nach Auflösung der Ehe oder der Familiengemeinschaft besteht der Anspruch des Ehegatten auf Erteilung und Verlängerung der Aufenthaltsbewilligung nach den Art. 42 und 43 AuG weiter, wenn die Ehegemeinschaft mindestens drei Jahre gedauert hat und eine erfolgreiche Integration besteht (Art. 50 Abs. 1 lit. a AuG) oder wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (Art. 50 Abs. 1 lit. b AuG). Die beiden Kriterien nach Art. 50 Abs. 1 lit. a AuG (Ablauf der Dreijahresfrist und Integration) müssen kumulativ erfüllt sein, um einen Bewilligungsanspruch zu begründen (BGE 140 II 289 E. 3.5.3 S. 295).
5.
Zu prüfen ist zunächst, ob der Beschwerdeführer einen Anwesenheitsanspruch aus Art. 50 Abs. 1 lit. a AuG ableiten kann. Unbestritten ist, dass seine Ehegemeinschaft länger als drei Jahre gedauert hat, so dass die erste Voraussetzung erfüllt ist. Es stellt sich somit lediglich die Frage, ob er eine gute Integration vorweisen kann.
5.1. Gemäss Art. 77 Abs. 4 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; in der vorliegend anwendbaren Fassung [AS 2007 5523], in Kraft bis 31. Dezember 2018) liegt eine erfolgreiche Integration im Sinne von Art. 50 Abs. 1 lit. a AuG vor, wenn die Ausländerin oder der Ausländer namentlich die rechtsstaatliche Ordnung und die Werte der Bundesverfassung respektiert (lit. a) sowie den Willen zur Teilnahme am Wirtschaftsleben und zum Erwerb der am Wohnort gesprochenen Landessprache bekundet (lit. b).
5.1.1. Rechtsprechungsgemäss ist eine erfolgreiche wirtschaftliche Integration grundsätzlich zu bejahen, wenn die ausländische Person für sich sorgen kann, keine (nennenswerten) Sozialhilfeleistungen bezieht und sich nicht (in nennenswerter Weise) verschuldet (Urteile 2C_221/2019 vom 25. Juli 2019 E. 2.2; 2C_352/2014 vom 18. März 2015 E. 4.5; 2C_430/2011 vom 11. Oktober 2011 E. 4.2). Eine Verschuldung schliesst eine erfolgreiche Integration nicht aus, wenn die ausländische Person im Begriff ist, die Schulden in wirksamer Weise zurückzubezahlen (vgl. Urteile 2C_725/2019 vom 12. September 2019 E. 7.2; 2C_283/2016 vom 23. Dezember 2016 E. 4.3.4; 2C_352/2014 vom 18. März 2015 E. 4.5). Massgebend sind zudem die Höhe sowie die Ursachen der Verschuldung (vgl. Urteile 2C_725/2019 vom 12. September 2019 E. 7.2; 2C_ 352/2014 vom 18. März 2015 E. 4.3). Es ist jeweils auf die Gesamtumstände des Einzelfalls abzustellen. Das Bundesgericht hat namentlich festgehalten, dass Verlustscheine in der Höhe von ungefähr Fr. 8'000.-- nicht gegen eine wirtschaftliche Integration sprechen (Urteil 2C_65/2014 vom 27. Januar 2015 E. 3.6). Auch Schulden von knapp über Fr. 100'000.-- seien kein Grund, die wirtschaftliche Integration zu verneinen, wenn ernsthafte erkennbare Bemühungen bestünden, das Geld zurückzubezahlen (vgl. Urteil 2C_352/2014 vom 18. März 2015 E. 4.5 und 4.6). Hingegen hat das Bundesgericht im Urteil 2C_385/2014 vom 19. Januar 2015 die wirtschaftliche Integration verneint, weil der Betroffene Schulden von ca. Fr. 55'000.-- hatte, keine ernsthaften Rückzahlungsbestrebungen zeigte und (teilweise zusammen mit seiner früheren Ehefrau) Sozialhilfeleistungen von rund Fr. 100'000.-- bezogen hatte. Ebenfalls gegen eine wirtschaftliche Integration spricht eine hohe und weiterhin zunehmende Verschuldung (vgl. Urteil 2C_725/2014 vom 23. Januar 2015 E. 5.5).
5.1.2. Geringfügige Strafen schliessen eine gelungene Integration nicht notwendigerweise aus (Urteile 2C_1125/2014 vom 9. September 2015 E. 3.2.2; 2C_749/2011 vom 20. Januar 2012 E. 4.3). Umgekehrt ergibt sich aus dem Umstand, dass die ausländische Person sich strafrechtlich nichts zuschulden hat kommen lassen und ihr Unterhalt ohne Sozialhilfe gewährleistet erscheint, für sich allein noch keine erfolgreiche Integration (Urteile 2C_175/2015 vom 30. Oktober 2015 E. 2.3; 2C_830/2010 vom 10. Juni 2011 E. 2.2.2).
5.2. Die Vorinstanz hat aufgrund einer Gesamtbeurteilung eine erfolgreiche Integration des Beschwerdeführers verneint. Sie hat ihre Auffassung zunächst mit seiner ungenügenden wirtschaftlichen Integration, insbesondere mit der seit seiner Einreise in die Schweiz kontinuierlich gewachsenen Verschuldung und den fehlenden Bemühungen zur Schuldentilgung, begründet (vgl. E. II.6.6 des angefochtenen Urteils). Gegen eine erfolgreiche Integration würden ferner die strafrechtlichen Verfehlungen des Beschwerdeführers sprechen (vgl. vorne, Sachverhalt A.c).
Der Beschwerdeführer setzt dem im Wesentlichen entgegen, dass seine wirtschaftliche Situation auf seine Krankheit (eine Panikstörung) und die daraus resultierende Invalidität zurückzuführen und deshalb nicht selbstverschuldet sei. Die Krankheit manifestiere sich auch am Arbeitsplatz, was jeweils zum Verlust der jeweiligen Stellen geführt habe. Zudem sei es ohnehin schwierig, eine Restarbeitsfähigkeit zu verwerten. Eine Folge seiner Krankheit sei schliesslich auch sein strafrechtlich relevantes Verhalten gegenüber seiner Ehefrau gewesen.
5.3.
5.3.1. Dem angefochtenen Entscheid können folgende vom Beschwerdeführer nicht bestrittenen Angaben zu seiner Schuldensituation entnommen werden: Am 21. März 2013 war er mit 79 Verlustscheinen in der Höhe von Fr. 99'080.10 im Betreibungsregister verzeichnet. Am 21. Oktober 2014 lagen gegen ihn 102 offene Verlustscheine in der Höhe von Fr. 134'855.65, am 21. April 2015 107 offene Verlustscheine in der Höhe von Fr. 144'567.90, am 1. Februar 2017 133 offene Verlustscheine in der Höhe von Fr. 173'697.45, am 12. März 2018 144 offene Verlustscheine in der Höhe von Fr. 187'663.20 und am 17. Mai 2018 147 offene Verlustscheine in der Höhe von Fr. 191'249.90 vor (vgl. E. I.1.4, I.1.5 und I.1.9 des angefochtenen Urteils). Diese Beträge sind beträchtlich. Zu seinen Ungunsten spricht auch der Umstand, dass es sich dabei mehrheitlich um Forderungen der öffentlichen Hand und der Krankenkasse handelt (vgl. E. 5.4 des angefochtenen Urteils; vgl. auch Urteil 2C_352/2014 vom 18. März 2015 E. 4.5).
Aus dem vorinstanzlichen Urteil geht ferner hervor, dass der Beschwerdeführer bis zum 21. April 2015 Sozialhilfeleistungen im Umfang von Fr. 86'055.95 bezogen hatte, wobei er sich dank einer ihm ab dem 1. Juli 2015 zugesprochenen halben IV-Rente und Ergänzungsleistungen von der Sozialhilfe lösen konnte (vgl. E. I.1.8 des angefochtenen Urteils).
5.3.2. Der Beschwerdeführer legt nicht dar, welche konkreten Bemühungen er unternommen hat, um seine Schulden zu tilgen. Er führt lediglich aus, dass er dank der IV-Rente zusammen mit den Ergänzungsleistungen einen Teil der aufgelaufenen Schulden habe abbauen können. So seien namentlich die bevorschussten Kinderunterhaltsbeiträge gedeckt worden. Er wirf in diesem Zusammenhang der Vorinstanz vor, sie habe diesen Schuldenabbau zu wenig gewürdigt.
Es trifft zu, dass sich bei den Akten ein Schreiben des Oberamtes Olten-Gösgen vom 23. Januar 2019 befindet, aus welchem hervorgeht, dass die bevorschussten Kinderalimente für den Zeitraum von Oktober 2015 bis Oktober 2017 mit der IV-Kinderrente verrechnet worden und dass keine offenen Forderungen mehr vorhanden seien. Dies reicht allerdings nicht aus, um annehmen zu können, dass sich der Beschwerdeführer ernsthaft bemüht, seine wirtschaftliche Situation nachhaltig zu sanieren. Weitere Anstrengungen des Beschwerdeführers, seine Schulden abzubauen, sind weder erkennbar noch substantiiert dargetan.
5.3.3. Entgegen den Behauptungen des Beschwerdeführers lässt sich der Umstand, dass er beruflich nicht Fuss fassen konnte, nicht allein mit seiner Krankheit erklären. Gemäss dem angefochtenen Urteil wurde sein Gesundheitszustand von der Invalidenversicherung umfassend abgeklärt. Gestützt auf diese Abklärungen wurde ihm ab Juli 2015 ein Invaliditätsgrad von 53 % attestiert (vgl. E. II.6.4 des angefochtenen Urteils). Der Beschwerdeführer legt nicht substantiiert dar, dass er sich ernsthaft bemüht hat, seine Restarbeitsfähigkeit auf dem Arbeitsmarkt zu verwerten. Zwar lässt sich der Grad seiner Arbeitsfähigkeit dem angefochtenen Urteil nicht genau entnehmen; der Beschwerdeführer selbst scheint jedoch davon auszugehen, dass seine Restarbeitsfähigkeit unter 50 % liege. Es ist daher der Vorinstanz zuzustimmen, dass es ihm möglich gewesen wäre, bei entsprechenden Bemühungen eine geeignete Teilzeitanstellung zu finden bzw. zu behalten (vgl. E. II.6.4 des angefochtenen Urteils), so dass seine mangelhafte berufliche Integration zumindest teilweise als selbstverschuldet zu gelten hat.
5.3.4. Hinzu kommt schliesslich, dass der Beschwerdeführer mit Schreiben vom 21. März 2013 aufgrund der angehäuften Schulden und der Sozialhilfeabgängigkeit ermahnt wurde. Auch wurde seine Aufenthaltsbewilligung unter der Bedingung verlängert, dass er im Rahmen seiner Möglichkeiten einer Erwerbstätigkeit nachgehe, sich von der Sozialhilfe ablöse, keine neuen Schulden anhäufe, die bestehenden Schulden abbaue und nicht straffällig werde. In der Folge änderte er an seiner Situation nichts; vielmehr hat seine Verschuldung - trotz Zusprache einer IV-Rente - kontinuierlich zugenommen. Dem Argument des Beschwerdeführers, das Schreiben vom 21. März 2013 sei nicht mit einer Rechtsmittelbelehrung versehen worden und es habe kein Rechtsmittel dagegen offen gestanden, ist entgegen zu halten, dass die Mahnung nicht Gegenstand des vorliegenden Verfahrens bildet und daher nicht mehr überprüft werden kann. Ohnehin musste dem Beschwerdeführer bewusst sein, dass die Verlängerung seiner Aufenthaltsbewilligung namentlich vom Abbau der bestehenden Schulden abhing.
5.4. In strafrechtlicher Hinsicht lässt sich dem angefochtenen Urteil entnehmen, dass der Beschwerdeführer insbesondere drei Verurteilungen zu Geldstrafen erwirkt hat (vgl. vorne, Sachverhalt A.c). Dabei handelt es sich um keine geringfügigen Delikte, sondern um schwerwiegendere Vorfälle. Soweit der Beschwerdeführer behauptet, im Rahmen des Strafverfahrens sei dem Umstand zu wenig Rechnung getragen, dass sein Verhalten gegenüber seiner Ehefrau auf seine Krankheit zurückzuführen sei, ist darauf hinzuweisen, dass die Würdigung des Strafgerichts vorliegend nicht mehr in Frage gestellt werden kann. Vielmehr ist mit der Vorinstanz davon auszugehen, dass der Beschwerdeführer mir seinem Verhalten zum Teil in schwerwiegender Weise gegen die rechtsstaatliche Ordnung verstossen hat (vgl. E. II.6.6 des angefochtenen Urteils). Erschwerend kommt hinzu, dass namentlich die der Verurteilung vom 12. Januar 2016 zugrunde liegenden Straftaten (mehrfache Drohung [häusliche Gewalt], mehrfache Beschimpfung, Tätlichkeiten und mehrfacher Ungehorsam gegen amtliche Verfügungen) begangen wurden, nachdem der Beschwerdeführer mit Verfügung vom 19. Mai 2015 darauf hingewiesen wurde, dass die Verlängerung seiner Aufenthaltsbewilligung unter anderem unter der Bedingung erfolge, dass er nicht mehr straffällig werde.
5.5. Im Ergebnis ist die erfolgreiche Integration des Beschwerdeführers im Sinne von Art. 50 Abs. 1 lit. a AuG angesichts seiner erheblichen und zunehmenden Verschuldung, der ungenügenden beruflichen Integration sowie seines strafrechtlich relevanten Verhaltens zu verneinen. Folglich kann er aus dieser Bestimmung keinen Anspruch auf Verlängerung seiner Aufenthaltsbewilligung ableiten.
6.
Zu prüfen ist ferner, ob wichtige persönliche Gründe einen weiteren Aufenthalt des Beschwerdeführers in der Schweiz erforderlich machen (Art. 50 Abs. 1 lit. b AuG).
6.1. Wichtige persönliche Gründe im Sinn von Art. 50 Abs. 1 lit. b AuG können namentlich vorliegen, wenn die betroffene Person Opfer ehelicher Gewalt wurde oder die Ehe nicht aus freiem Willen geschlossen hat oder die soziale Wiedereingliederung im Herkunftsland stark gefährdet erscheint (Art. 50 Abs. 2 AuG). Auch schwere gesundheitliche Probleme können als wichtige Gründe im Sinn von Art. 50 Abs. 1 lit. b AuG anerkannt werden, wenn sie so gravierend sind, dass eine Rückkehr ins Herkunftsland aus medizinischer Sicht unhaltbar erscheint. Ob dies der Fall ist, hängt im Wesentlichen von den Behandlungsmöglichkeiten im Herkunftsland ab (Urteile 2C_467/2018 vom 3. September 2018 E. 2.1; 2C_317/2015 vom 1. Oktober 2015 E. 5.2 mit Hinweisen). Soweit die medizinische Versorgung im Heimatland gewährleistet ist, kann sich der Ausländer regelmässig nicht darauf berufen, dass die Versorgung in der Schweiz einem höheren Standard entspreche (BGE 139 II 393 E. 6 S. 403; Urteile 2C_317/2015 vom 1. Oktober 2015 E. 5.2; 2C_316/2011 vom 17. Oktober 2011 E. 3.3; je mit Hinweisen).
6.2. Wichtige persönliche Gründe nach Art. 50 Abs. 1 lit. b AuG können auch in einer schützenswerten Beziehung zu einem in der Schweiz anwesenheitsberechtigten Kind bestehen (vgl. BGE 143 I 21 E. 4.1 S. 24 f. mit Hinweis; 139 I 315 E. 2.1 S. 319; Urteil 2C_414/2014 vom 12. März 2015 E. 2.1). Bei der Beurteilung, ob eine schutzwürdige Eltern-Kind-Beziehung besteht, muss auf die Rechtsprechung zu Art. 8 EMRK bzw. Art. 13 Abs. 1 BV abgestellt werden, auf welche sich der Beschwerdeführer ebenfalls beruft, können doch die wichtigen persönlichen Gründe im Sinne von Art. 50 Abs. 1 lit. b AuG nicht einschränkender verstanden werden als ein aus diesen Garantien fliessender Anspruch auf Erteilung oder Verlängerung der Aufenthaltsbewilligung (Urteile 2C_904/2018 vom 24. April 2018 E. 2.1; 2C_417/2018 vom 19. November 2018 E. 5; 2C_1125/2014 vom 9. September 2015 E. 4.1 mit Hinweisen).
Nach der bundesgerichtlichen Rechtsprechung zu Art. 8 Ziff. 1 EMRK sowie Art. 13 Abs. 1 BV ist die Erteilung einer Aufenthaltsbewilligung an einen weder sorge- noch hauptsächlich betreuungsberechtigten ausländischen Elternteil zur Ausübung seines Besuchsrechts in der Regel nicht erforderlich. Unter dem Gesichtswinkel des Schutzes des Anspruchs auf Familienleben genügt es nach den Umständen, dass der Kontakt zum Kind im Rahmen von Kurzaufenthalten, Ferienbesuchen oder über die modernen Kommunikationsmittel vom Ausland her wahrgenommen werden kann; gegebenenfalls sind die zivilrechtlichen Modalitäten hierfür den ausländerrechtlichen Vorgaben anzupassen (BGE 144 I 91 E. 5.1 S. 97; 139 I 315 E. 2.2 S. 319; Urteile 2C_904/2018 vom 24. April 2019 E. 2.2; 2C_417/2018 vom 19. November 2018 E. 7.1; 2C_1141/2014 vom 10. September 2015 E. 2.4). Gemäss der Rechtsprechung kann ein weitergehender Anspruch nur dann in Betracht fallen, wenn eine in affektiver und in wirtschaftlicher Hinsicht besonders enge Beziehung zum Kind besteht, diese Beziehung wegen der Distanz zum Heimatland des Ausländers praktisch nicht aufrechterhalten werden könnte und das bisherige Verhalten der ausländischen Person in der Schweiz zu keinerlei namhaften Klagen Anlass gegeben hat (vgl. BGE 144 I 91 E. 5.2 S. 97; 143 I 21 E. 5.2 S. 27; 142 II 35 E. 6.2 S. 47; jeweils mit Hinweisen). Dies ist in der Regel nicht der Fall, wenn gegen die ausländische Person, welche sich auf Art. 8 EMRK beruft, fremdenpolizeiliche Entfernungs- und Fernhaltegründe sprechen, insbesondere sie sich massgebliches, strafrechtlich oder fremdenpolizeilich verpöntes Fehlverhalten hat zu schulden kommen lassen (BGE 144 I 91 E. 5.2.4 S. 100, mit Hinweisen).
6.3. Der Beschwerdeführer behauptet nicht, dass seine Krankheit in seinem Heimatland nicht behandelbar wäre oder, dass sich diese erheblich verschlechtern könnte. Er macht lediglich geltend, er sei auf den Kontakt zur Invalidenversicherung angewiesen, da sein Invaliditätsgrad möglicherweise demnächst erhöht werden müsse. Zudem sei der Export seiner IV-Rente in den Kosovo derzeit nicht möglich, so dass er in seinem Heimatland zum Bettler bzw. zum Obdachlosen würde. Ein menschenwürdiges Dasein sei ihm nur in der Schweiz möglich.
Die Möglichkeit, den Kontakt mit der Invaliditätsversicherung in der Schweiz aufrechterhalten zu können, vermag noch keinen wichtigen persönlichen Grund im Sinne von Art. 50 Abs. 1 lit. b AuG zu begründen, der einen weiteren Aufenthalt in der Schweiz erforderlich machen würde (vgl. E. 6.1 und 6.2 hiervor). Entgegen seinen Ausführungen ist die Auszahlung halber IV-Renten in den Kosovo möglich (vgl. Art. 5 Abs. 1 und Abs. 2 e contrario des Abkommens vom 8. Juni 2018 zwischen der Schweizerischen Eidgenossenschaft und der Republik Kosovo über soziale Sicherheit, SR 0.831.109.475.1; in Kraft getreten am 1. September 2019). Zudem könnte er seine verbleibende Arbeitsfähigkeit im Heimatland verwerten. Im Übrigen stellt die Rückkehr in Lebensverhältnisse, welche im Herkunftsland allgemein üblich sind, praxisgemäss für sich allein noch keinen wichtigen Grund dar, welcher eine weitere Anwesenheit in der Schweiz gebieten würde. Das gilt auch dann, wenn die ausländische Person in der Heimat auf eine im Vergleich zur Schweiz weniger vorteilhafte Lebenssituation trifft (vgl. Urteil 2C_672/2015 vom 14. März 2016 E. 2.2 mit Hinweisen). Insgesamt stellt sein Gesundheitszustand keinen wichtigen persönlichen Grund im Sinn von Art. 50 Abs. 1 lit. b AuG dar.
6.4. Ein allfälliger Anspruch des Beschwerdeführers auf Verbleib im Land im Hinblick auf die Beziehung zu seinem jüngsten, noch minderjährigen Sohn, für welchen er unbestrittenermassen nicht obhutsberechtigt ist, scheitert aufgrund seines strafrechtlich relevanten Verhaltens und seiner Schuldenwirtschaft am Kriterium des klaglosen Verhaltens (vgl. E. 6.2 hiervor; vgl. auch Urteil 2C_385/2014 vom 19. Januar 2015 E. 5.2.2).
7.
7.1. Nichts zu seinen Gunsten kann der Beschwerdeführer sodann aus seiner langen Anwesenheit in der Schweiz ableiten. Zwar hat das Bundesgericht in einem neueren Urteil festgehalten, dass nach einer rechtmässigen Aufenthaltsdauer von rund zehn Jahren regelmässig davon ausgegangen werden könne, dass die sozialen Beziehungen in diesem Land so eng geworden seien, dass es für eine Aufenthaltsbeendigung besonderer Gründe bedarf; im Einzelfall kann es sich jedoch anders verhalten und die Integration zu wünschen übrig lassen (BGE 144 I 266 E. 3.9 S. 278).
Der Beschwerdeführer ist im Jahr 1997 im Alter von 22 Jahren in die Schweiz eingereist und hält sich somit bereits seit 22 Jahren hier auf. Angesichts der konkreten Umstände drängt sich jedoch der Schluss auf, dass die Länge seiner Aufenthaltsdauer nicht mit seiner wirtschaftlichen und sozialen Integration korreliert. Zu seinen Ungunsten sprechen insbesondere sein strafrechtlich relevantes Verhalten, seine ungenügende berufliche Integration und seine Schuldenwirtschaft (vgl. E. 5.3 und 5.4 hiervor). Dem Antrag des Beschwerdeführers, es sei ihm die Aufenthaltsbewilligung unabhängig von den familiären Verhältnissen zu verlängern, kann somit nicht entsprochen werden.
7.2. Schliesslich erscheint eine Rückkehr des Beschwerdeführers in sein Heimatland auch als zumutbar: Der heute 44-jährige Beschwerdeführer hat die Hälfte seines Lebens und somit die persönlichkeitsprägenden Kinder- und Jugendjahre im Kosovo verbracht. Gemäss dem angefochtenen Urteil hat er noch Familie vor Ort und ist mit den kulturellen und gesellschaftlichen Gepflogenheiten in seinem Heimatland vertraut, was er auch nicht bestreitet (vgl. E. II.6.7 des angefochtenen Urteils). Seine Krankheit kann nach den ebenfalls unbestrittenen vorinstanzlichen Ausführungen auch im Kosovo behandelt werden (vgl. E. II.6.8 des angefochtenen Urteils). Weitere Gründe, die einer Rückkehr des Beschwerdeführers entgegen stehen würden, sind weder erkennbar noch dargetan. Eine Wiedereingliederung in sein Heimatland dürfte ihm somit möglich sein.
8.
Im Ergebnis hat die Vorinstanz weder Bundes- noch Konventionsrecht verletzt, indem sie einen Anspruch des Beschwerdeführers auf Verlängerung seiner Aufenthaltsbewilligung verneint hat.
9.
9.1. Nach dem Gesagten erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
9.2. Die dem Beschwerdeführer durch die Vorinstanz angesetzte Frist von zwei Monaten ab Rechtskraft des Urteils des Verwaltungsgerichts vom 30. April 2019 zum Verlassen des Landes wird bestätigt. Diese ist dahingehend auszulegen, dass der Beschwerdeführer binnen zweier Monate ab Zustellung des vorliegenden bundesgerichtlichen Entscheids die Schweiz zu verlassen hat.
9.3. Bei diesem Ausgang des Verfahrens wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Er hat ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung gestellt (Art. 64 BGG). Dieses ist begründet, da der Beschwerdeführer bedürftig ist und das Rechtsbegehren, insbesondere aufgrund seiner langjährigen Anwesenheit in der Schweiz, nicht als aussichtslos erschien. Eine Parteientschädigung ist nicht geschuldet (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf eingetreten wird.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen. Es werden keine Gerichtskosten erhoben. Dem Beschwerdeführer wird Rechtsanwalt Jürg Walker als unentgeltlicher Rechtsbeistand beigegeben. Ihm wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'000.-- ausgerichtet.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Solothurn und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 21. November 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Ivanov