Sachverhalt:
A.
A.a. Der 1980 geborene A._, türkischer Staatsangehöriger, heiratete am 25. Juli 2000 in der Türkei seine in der Schweiz niederlassungsberechtigte Landsfrau B._ (geb. 1975). Am 24. Oktober 2000 reiste A._ im Rahmen des Familiennachzugs in die Schweiz ein. Am 17. März 2001 wurde ihm im Kanton Solothurn erstmals eine Aufenthaltsbewilligung erteilt.
Aus der Ehe entstammten die gemeinsamen Kinder C.A._ (geb. 2001) und D.A._ (geb. 2005), welche beide im Besitz von Niederlassungsbewilligungen sind.
A.b. Mit Schreiben der Migrationsbehörde des Kantons Solothurn vom 26. April 2011 wurde die Aufenthaltsbewilligung von A._ verlängert. Gleichzeitig wurde er aufgrund von Betreibungen, Verlustscheinen und ausstehenden Unterhaltsbeiträgen, Schulden in der Höhe von mehr als Fr. 54'000.-- und geringfügiger Straffälligkeit verwarnt.
Die Ehe zwischen A._ und dessen Ehefrau wurde mit Urteil des Richteramtes U._ vom 11. Juni 2012 geschieden und die elterliche Sorge über die gemeinsamen Kinder wurde der Mutter zugeteilt. Das Urteil ist am 10. Juli 2012 in Rechtskraft erwachsen.
A.c. Am 5. Oktober 2012 wurde A._ aufgrund der massiv verschlechterten Schuldensituation zum zweiten Mal von der Migrationsbehörde verwarnt und darauf aufmerksam gemacht, dass Schuldenanhäufung zur Nichtverlängerung des Aufenthaltsrechts und zur Wegweisung aus der Schweiz führen kann. Im Betreibungsregister des Betreibungsamtes U._ war A._ mit fünf Einkommenspfändungen in der Höhe von Fr. 6'992.80, vier Zahlungsbefehlen im Umfang von Fr. 3'043.35 sowie elf Verlustscheinen im Betrag von Fr. 63'505.10 verzeichnet (Stand: 24. September 2012). Gemäss Auskunft des Oberamtes U._ vom 25. September 2012 bestanden zu jenem Zeitpunkt Alimentenausstände in der Höhe von insgesamt Fr. 106'140.-- (pro Kind je Fr. 31'320.-- und für die Ehefrau Fr. 43'500.--).
Die Aufenthaltsbewilligung von A._ wurde daraufhin am 11. Oktober 2012 letztmals bis am 23. Oktober 2013 verlängert.
A.d. Gemäss einer Mutationsmeldung der Einwohnergemeinde U._ vom 19. Juli 2013 wurde A._ per 31. Dezember 2012 nach unbekannt abgemeldet.
B.
B.a. Ein Gesuch von A._ vom 12. September 2013 um Erteilung einer Aufenthaltsbewilligung im Kanton Zürich wurde mit Verfügung des Migrationsamtes des Kantons Zürich vom 18. März 2015 abgewiesen und A._ wurde aus der Schweiz weggewiesen. Zur Begründung wurde namentlich ausgeführt, A._ habe es unterlassen, im Kanton Solothurn um Verlängerung der dort innegehabten Aufenthaltsbewilligung zu ersuchen, weshalb diese mit Ablauf der Gültigkeitsdauer am 23. Oktober 2013 erloschen sei. Zudem wurde ihm aufgrund seiner Schulden und seiner Straffälligkeit (vgl. im Detail B.e hiernach) keine Aufenthaltsbewilligung mehr erteilt.
B.b. Gemäss einer Mutationsmeldung der Einwohnergemeinde U._ vom 24. April 2015 zog A._ am 23. April 2015 von V._ (ZH) nach U._. Am 11. Mai 2015 stellte A._ ein Gesuch um Verlängerung seiner Aufenthaltsbewilligung im Kanton Solothurn (<ref-law>). Am 20. Mai 2015 ging beim Migrationsamt des Kantons Solothurn die Verfallsanzeige für die am 23. Oktober 2013 verfallene Aufenthaltsbewilligung ein.
B.c. Mit Entscheid der Rekursabteilung der Sicherheitsdirektion des Kantons Zürich vom 14. Januar 2016 wurde der Rekurs von A._ betreffend Erteilung einer Aufenthaltsbewilligung (Kantonswechsel) abgewiesen, soweit er nicht gegenstandslos geworden war. Für eine allfällige Wegweisung aus der Schweiz sei gemäss diesem Entscheid der Kanton Solothurn zuständig, weil A._ dort Wohnsitz genommen hatte.
B.d. Mit Eingabe vom 26. Juli 2016 stellte A._ ein Gesuch um Wiederzulassung. Daraufhin teilte ihm das Migrationsamt des Kantons Solothurn mit Schreiben vom 5. August 2016 im Wesentlichen mit, dass aufgrund der speziellen Konstellation (langes Verfahren im Kanton Zürich, im Vorkanton nicht zugleich um Verlängerung der Aufenthaltsbewilligung ersucht) derzeit eine "ordentliche" Prüfung der Verlängerung der Aufenthaltsbewilligung vorgenommen werde und auf das Gesuch um Wiederzulassung aufgrund des bereits hängigen Verfahrens sowie der Tatsache, dass er nicht aus der Schweiz ausgereist sei, nicht eingetreten werde.
B.e. Gemäss einem Strafregisterauszug vom 15. Oktober 2019 erwirkte A._ in der Schweiz folgende Verurteilungen:
- zehn Tagessätze zu je Fr. 90.-- Geldstrafe, bedingt aufgeschoben bei einer Probezeit von zwei Jahren, und Fr. 800.-- Busse wegen grober Verletzung der Verkehrsregeln (Strafbefehl des Bezirksstatthalteramtes Sissach vom 28. Oktober 2009);
- 50 Tagessätze zu je Fr. 80.-- Geldstrafe, bedingt aufgeschoben bei einer Probezeit von zwei Jahren, und Fr. 800.-- Busse wegen einfacher und grober Verletzung der Verkehrsregeln, Vereitelung von Massnahmen zur Feststellung der Fahrunfähigkeit, pflichtwidrigen Verhaltens nach einem Unfall und Nichttragens der Sicherheitsgurten (Strafbefehl des Bezirksstatthalteramtes Sissach vom 7. Juli 2010);
- 120 Tagessätze zu je Fr. 40.-- Geldstrafe, bedingt aufgeschoben bei einer Probezeit von drei Jahren, und Fr. 400.-- Busse wegen Vernachlässigung von Unterhaltspflichten (Strafbefehl der Staatsanwaltschaft des Kantons Solothurn vom 13. August 2014);
- 180 Tagessätze zu je Fr. 20.-- Geldstrafe wegen mehrfacher Nötigung, mehrfacher Drohung, mehrfachen Vergehens gegen das Waffengesetz, Vergehens nach Art. 19 Abs. 1 Betäubungsmittelgesetz (BetmG; SR 812.121), Fahrens in fahrunfähigem Zustand, fahrlässiger Körperverletzung sowie Hinderung einer Amtshandlung (Strafbefehl der Staatsanwaltschaft Winterthur/ Unterland vom 16. April 2018).
Per 11. Oktober 2019 war A._ im Register des Betreibungsamtes U._ mit sechs Pfändungen in der Höhe von Fr. 20'084.90 sowie 28 Verlustscheinen im Betrag von Fr. 249'881.65 verzeichnet. Darunter befanden sich eine Pfändung in der Höhe von Fr. 17'218.-- sowie acht Verlustscheine im Umfang von Fr. 225'173.45 des Oberamtes U._. Gemäss E-Mail-Mitteilung des Oberamtes U._ vom 15. Oktober 2019 würden die Alimente für die beiden Kinder in der Höhe von monatlich je Fr. 536.00 (Betrag für das Jahr 2019) bevorschusst. Der Saldo der bevorschussten Alimente belaufe sich auf Fr. 157'139.10 und derjenige der nicht bevorschussten Alimente auf Fr. 124'771.40.
B.f. Mit Verfügung vom 12. März 2020 stellte das Departement des Innern des Kantons Solothurn, vertreten durch das Migrationsamt, fest, dass die Aufenthaltsbewilligung von A._ erloschen sei. A._ wurde keine neue Aufenthaltsbewilligung mehr erteilt und er wurde aus der Schweiz weggewiesen.
B.g. Mit Urteil vom 24. September 2020 wies das Verwaltungsgericht des Kantons Solothurn die dagegen erhobene Beschwerde ab.
C.
Mit Eingabe vom 28. Oktober 2020 reicht A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten bei m Bundesgericht ein. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 24. September 2020 sei aufzuheben und es sei ihm die Aufenthaltsbewilligung zu verlängern bzw. wiederzuerteilen. In verfahrensrechtlicher Hinsicht ersucht er um Erteilung der aufschiebenden Wirkung und um Gewährung der unentgeltlichen Rechtspflege und -verbeiständung.
Das Verwaltungsgericht und das Departement des Innern des Kantons Solothurn, vertreten durch das Migrationsamt, schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Staatssekretariat für Migration SEM lässt sich nicht vernehmen.
Mit Verfügung vom 29. Oktober 2020 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen. Ein bundes- oder völkerrechtlicher Anspruch auf Erteilung einer Aufenthaltsbewilligung besteht grundsätzlich nur dann, wenn sich der Ausländer oder seine in der Schweiz lebenden Angehörigen auf eine Sondernorm des Bundesrechts oder eines Staatsvertrags berufen können (<ref-ruling> E. 2.1; <ref-ruling> E. 1.1.1; Urteile 2C_202/2018 vom 19. Juli 2019 E. 1.1; 2C_381/2018 vom 29. November 2018 E. 1.2).
1.2. Als Vater eines minderjährigen Sohns, der über ein gefestigtes Anwesenheitsrecht in der Schweiz verfügt, beruft sich der Beschwerdeführer in vertretbarer Weise auf den Schutz seines Privat- und Familienlebens (<ref-law>; Art. 8 EMRK). Ein weiterer potenzieller Bewilligungsanspruch ergibt sich aus Art. 50 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer und über die Integration (AIG; SR 142.20; bis 31. Dezember 2018: AuG) aufgrund seiner inzwischen geschiedenen Ehe mit einer in der Schweiz niederlassungsberechtigten Landsfrau. Zudem hat der Beschwerdeführer, der sich seit knapp 20 Jahren in der Schweiz aufhält, einen potenziellen Anspruch auf Erteilung bzw. Verlängerung seiner Aufenthaltsbewilligung gestützt auf den Schutz seines Privatlebens (<ref-law> und Art. 8 EMRK; vgl. <ref-ruling> E. 3.8 und 3.9).
Nicht in den Schutzbereich von Art. 8 EMRK fällt demgegenüber - mangels Geltendmachung eines besonderen Abhängigkeitsverhältnisses - die Beziehung des Beschwerdeführers zu seiner erwachsenen Tochter (vgl. <ref-ruling> E. 6.1; <ref-ruling> E. 5.1; Urteil 2C_1062/ 2019 vom 5. Mai 2020 E. 6.2.1, mit Hinweisen).
Ob der Bewilligungsanspruch tatsächlich besteht, ist praxisgemäss eine Frage der materiellen Beurteilung und keine solche des Eintretens (<ref-ruling> E. 1.1; <ref-ruling> E. 1.1).
1.3. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG).
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>; <ref-ruling> E. 4.4.5) und verfügt es über volle Kognition (<ref-law>; <ref-ruling> E. 2). In Bezug auf die Verletzung von Grundrechten und von kantonalem Recht gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>; <ref-ruling> E. 1.7.2; <ref-ruling> E. 2.2).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die tatsächlichen Feststellungen der Vorinstanz nur berichtigen oder ergänzen, sofern sie offensichtlich unrichtig sind oder auf einer anderen Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>).
3.
Zu prüfen ist zunächst, ob die Vorinstanz in bundesrechtskonformer Weise zum Schluss gelangt ist, dass das Verlängerungsgesuch vom 11. Mai 2015 verspätet war und die Aufenthaltsbewilligung des Beschwerdeführers am 23. Oktober 2013 erloschen ist (vgl. E. II/2.2 des angefochtenen Urteils).
3.1. Die ausländerrechtlichen Aufenthaltsbewilligungen werden von den Kantonen erteilt (<ref-law>). Personen mit einer Aufenthaltsbewilligung können ihren Wohnort innerhalb des Kantons, der die Bewilligung erteilt hat, frei wählen (<ref-law>). Die Bewilligungen gelten nur für das Gebiet des Kantons, der sie ausgestellt hat (Art. 66 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]). Wollen Personen mit einer Aufenthaltsbewilligung ihren Wohnort in einen anderen Kanton verlegen, müssen sie im Voraus eine Bewilligung des neuen Kantons beantragen (<ref-law>). Aus diesen Bestimmungen ergibt sich zwingend, dass der Wohnortskanton zuständig ist für die Erteilung einer Aufenthaltsbewilligung (Urteil 2C_322/2019 vom 15. April 2019 E. 3.1).
3.2. Nach <ref-law> erlöschen Bewilligungen mit Ablauf ihrer Gültigkeitsdauer. Das Gesuch um Verlängerung der Aufenthaltsbewilligung (<ref-law>) muss spätestens 14 Tage vor Ablauf der Gültigkeitsdauer eingereicht werden (<ref-law>). Aus Gründen der Verhältnismässigkeit und zur Vermeidung von überspitztem Formalismus kann nach der Rechtsprechung bei fahrlässig verspäteter Gesuchseinreichung die Wiedererteilung der Bewilligung geboten sein, wenn bei rechtzeitiger Gesuchstellung die Verlängerung bewilligt worden wäre (Urteile 2C_123/2017 vom 29. Mai 2017 E. 2.1; 2C_1050/2012 vom 6. Dezember 2013 E. 2.3).
3.3. Vorliegend war der Beschwerdeführer im Besitz einer Aufenthaltsbewilligung des Kantons Solothurn, die letztmals bis am 23. Oktober 2013 verlängert wurde. Gemäss den unbestrittenen vorinstanzlichen Feststellungen zog er jedoch im September 2013 - und somit vor Ablauf seiner Aufenthaltsbewilligung - in den Kanton Zürich, wo er um Bewilligung des Kantonswechsels ersuchte. Aus den Akten (<ref-law>) ergibt sich, dass das Migrationsamt des Kantons Zürich dieses Gesuch mit Verfügung vom 18. März 2015 abwies, mit der Begründung, dass die Aufenthaltsbewilligung erloschen sei. Diese Verfügung wurde mit Entscheid der Sicherheitsdirektion des Kantons Zürich vom 14. Januar 2016 bestätigt. Ob im Rahmen des Kantonswechselsgesuchs auch eine Verlängerung der Bewilligung über den Ablauf der im Kanton Solothurn erteilten Bewilligung hinaus beantragt wurde, geht aus dem angefochtenen Urteil zwar nicht hervor, doch kann dies nicht ausgeschlossen werden. Jedenfalls wurde der Anspruch des Beschwerdeführers auf Erteilung einer Aufenthaltsbewilligung im Kanton Zürich sowohl vom Migrationsamt als auch von der Sicherheitsdirektion geprüft, wobei Letztere in ihrem Entscheid ausdrücklich auf Art. 43 und 50 AuG sowie auf Art. 8 EMRK hinwies. Wie das Bundesgericht in einer vergleichbaren Konstellation festhielt, hätte der Beschwerdeführer während der Hängigkeit seines Gesuchs im Kanton Zürich nicht zwingend auch ein Verlängerungsgesuch im Kanton Solothurn stellen müssen. Denn falls der Kanton Zürich eine Bewilligung erteilt hätte, wäre ein Gesuch in Solothurn sinnlos gewesen, da ein Ausländer nur in einem Kanton eine Aufenthaltsbewilligung besitzen kann (<ref-law>; vgl. Urteil 2C_906/2015 vom 22. Januar 2016 E. 3.2). Auch darf die lange Dauer des zürcherischen Verfahrens dem Beschwerdeführer nicht vorgeworfen werden.
Im Übrigen ergibt sich aus dem angefochtenen Urteil und den Akten, dass das Migrationsamt des Kantons Solothurn dem Beschwerdeführer am 5. August 2016 mitgeteilt hatte, dass unter anderem aufgrund der langen Verfahrensdauer eine "ordentliche Prüfung" der Verlängerung der Aufenthaltsbewilligung vorgenommen und deshalb auf sein Wiederzulassungsgesuch vom 26. Juli 2016 nicht eingetreten werde (vgl. vorne, Sachverhalt B.d). Vor diesem Hintergrund hätte der Beschwerdeführer darauf vertrauen dürfen, dass eine Verlängerung seiner Aufenthaltsbewilligung für den Kanton Solothurn geprüft werde.
Aufgrund der konkreten Umstände erweist es sich als überspitzt formalistisch bzw. treuwidrig (<ref-law>), wenn das Migrationsamt des Kantons Solothurn das am 11. Mai 2015 gestellte Gesuch um Verlängerung seiner Aufenthaltsbewilligung dennoch als verspätet erachtete und in seiner Verfügung vom 12. März 2020 zum Schluss kam, dass die Aufenthaltsbewilligung erloschen sei.
4.
Weil die Vorinstanz davon ausgegangen ist, dass die Aufenthaltsbewilligung des Beschwerdeführers erloschen war, hat sie nicht geprüft, ob ein Anspruch auf Verlängerung besteht. Dies ist vorliegend von Amtes wegen zu prüfen.
4.1. Nach Auflösung der Ehe oder der Familiengemeinschaft besteht der Anspruch des Ehegatten auf Erteilung und Verlängerung der Aufenthaltsbewilligung nach den Art. 42 und 43 AIG weiter, wenn die Ehegemeinschaft mindestens drei Jahre gedauert hat und eine erfolgreiche Integration besteht (Art. 50 Abs. 1 lit. a AuG, in der bis zum 31. Dezember 2018 gültig gewesenen, vorliegend noch massgebenden Fassung; zum Intertemporalrecht vgl. <ref-law> analog und Urteil 2C_512/2019 vom 21. November 2019 E. 4.1) oder wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (<ref-law>). Die beiden Kriterien nach Art. 50 Abs. 1 lit. a AuG (Ablauf der Dreijahresfrist und Integration) müssen kumulativ erfüllt sein, um einen Bewilligungsanspruch zu begründen (<ref-ruling> E. 3.5). Die Ansprüche stehen zudem unter dem Vorbehalt der Widerrufsgründe von <ref-law> (Art. 51 Abs. 2 lit. b AuG, in der bis zum 31. Dezember 2018 gültig gewesenen Fassung).
4.2. Zu einem allfälligen, aus Art. 50 Abs. 1 lit. a AuG abgeleiteten nachehelichen Aufenthaltsrecht lässt sich dem angefochtenen Urteil und den Akten entnehmen, dass der Beschwerdeführer unbestrittenermassen mehr als drei Jahre in ehelicher Gemeinschaft mit einer in der Schweiz niederlassungsberechtigten Landsfrau gelebt hat. Praxisgemäss sind die Voraussetzung der erfolgreichen Integration gemäss <ref-law> indessen nicht erfüllt, wenn der Betroffene kein Erwerbseinkommen erwirtschaftet, welches seinen Konsum zu decken vermag, oder er während einer substanziellen Zeitdauer Sozialhilfeleistungen bezieht (Urteil 2C_234/2019 vom 14. Oktober 2019 E. 4.2.1, mit Hinweisen). Der Beschwerdeführer, der aufgrund seiner langjährigen, erheblichen Verschuldung den Widerrufsgrund gemäss <ref-law> erfüllt (vgl. E. 5.3 und 5.4 hiernach), kann nicht als erfolgreich integriert i.S.v. Art. 50 Abs. 1 lit. a AuG gelten (vgl. auch Urteil 2C_81/2018 vom 14. November 2018 E. 3.1).
4.3.
4.3.1. Wichtige persönliche Gründe im Sinn von <ref-law> können namentlich vorliegen, wenn die betroffene Person Opfer ehelicher Gewalt wurde oder die Ehe nicht aus freiem Willen geschlossen hat oder die soziale Wiedereingliederung im Herkunftsland stark gefährdet erscheint (<ref-law>). Derartige Gründe macht der Beschwerdeführer vorliegend nicht geltend.
Unter dem Titel von <ref-law> bejaht die Praxis indessen unter gewissen Umständen einen Bewilligungsanspruch, wenn der Fortbestand der elterlichen Beziehung zu einem hier gefestigt anwesenheitsberechtigten Kind durch die aufenthaltsbeendende Massnahme in Frage gestellt wäre (vgl. <ref-ruling> E. 4.1, mit Hinweis; <ref-ruling> E. 2.1; Urteil 2C_414/2014 vom 12. März 2015 E. 2.1). Der unbestimmte Rechtsbegriff der "wichtigen persönlichen Gründe" im Sinne von <ref-law> wird in diesem Zusammenhang im Lichte des verfassungs- und konventionsrechtlich verankerten Rechts auf Achtung des Familienlebens (<ref-law>, Art. 8 Ziff. 1 EMRK) ausgelegt, auf welches sich der Beschwerdeführer explizit beruft. Dabei können die Gründe im Sinne von <ref-law> nicht einschränkender verstanden werden als ein aus den vorgenannten Garantien fliessender Anspruch auf Erteilung oder Verlängerung der Aufenthaltsbewilligung (Urteile 2C_904/2018 vom 24. April 2018 E. 2.1; 2C_417/2018 vom 19. November 2018 E. 5; 2C_1125/2014 vom 9. September 2015 E. 4.1, mit Hinweisen).
4.3.2. Nach der bundesgerichtlichen Rechtsprechung zu Art. 8 Ziff. 1 EMRK sowie <ref-law> ist die Erteilung einer Aufenthaltsbewilligung an einen weder sorge- noch hauptsächlich betreuungsberechtigten ausländischen Elternteil zur Ausübung seines Besuchsrechts in der Regel nicht erforderlich. Unter dem Gesichtswinkel des Schutzes des Anspruchs auf Familienleben genügt es nach den Umständen, dass der Kontakt zum Kind im Rahmen von Kurzaufenthalten, Ferienbesuchen oder über die modernen Kommunikationsmittel vom Ausland her wahrgenommen werden kann; gegebenenfalls sind die zivilrechtlichen Modalitäten hierfür den ausländerrechtlichen Vorgaben anzupassen (<ref-ruling> E. 5.1; <ref-ruling> E. 2.2; Urteile 2C_904/2018 vom 24. April 2019 E. 2.2; 2C_417/2018 vom 19. November 2018 E. 7.1; 2C_1141/2014 vom 10. September 2015 E. 2.4). Gemäss der Rechtsprechung kann ein weitergehender Anspruch nur dann in Betracht fallen, wenn eine in affektiver und in wirtschaftlicher Hinsicht besonders enge Beziehung zum Kind besteht, diese Beziehung wegen der Distanz zum Heimatland des Ausländers praktisch nicht aufrechterhalten werden könnte und das bisherige Verhalten der ausländischen Person in der Schweiz zu keinerlei namhaften Klagen Anlass gegeben hat (vgl. <ref-ruling> E. 5.2; <ref-ruling> E. 5.2; <ref-ruling> E. 6.2; jeweils mit Hinweisen). Dies ist in der Regel nicht der Fall, wenn gegen die ausländische Person, welche sich auf Art. 8 EMRK beruft, fremdenpolizeiliche Entfernungs- und Fernhaltegründe sprechen, insbesondere sie sich massgebliches, strafrechtlich oder fremdenpolizeilich verpöntes Fehlverhalten hat zu schulden kommen lassen (<ref-ruling> E. 5.2.4, mit Hinweisen).
4.3.3. Vorliegend ist unbestritten, dass der Beschwerdeführer weder sorge- noch obhutsberechtigt ist, und dass er nicht mit seinem hier niederlassungsberechtigten minderjährigen Sohn zusammenwohnt.
Ob der Beschwerdeführer eine in affektiver Hinsicht besonders enge Beziehung zu seinem minderjährigen Kind pflegt, braucht nicht abschliessend beurteilt zu werden, da ein allfälliger Anspruch auf Verbleib im Land im Hinblick auf diese Beziehung bereits aufgrund seiner erheblichen Verschuldung (vgl. E. 5.3 hiernach) und seines strafrechtlichen Verhaltens am Kriterium des klaglosen Verhaltens scheitert (vgl. auch Urteile 2C_512/2019 vom 21. November 2019 E. 6.4; 2C_385/ 2014 vom 19. Januar 2015 E. 5.2.2). Hinsichtlich seiner Straffälligkeit lässt sich den Akten entnehmen, dass der Beschwerdeführer nicht nur Bagatelldelikte beging. So erfolgte insbesondere die Verurteilung vom 16. April 2018 (vgl. vorne, Sachverhalt B.e) deshalb, weil er mittels eines Sturmgewehrs den Ehemann seiner Ex-Freundin dazu aufforderte, die Heirat rückgängig zu machen. Anschliessend zielte er mit dem Sturmgewehr direkt auf die Stirn seiner Ex-Freundin und forderte sie auf, mit ihm die Wohnung zu verlassen.
Wie die Vorinstanz im Übrigen korrekt erwogen hat, ist auch eine enge wirtschaftliche Beziehung zwischen Vater und Sohn auszuschliessen, da der Beschwerdeführer seinen Unterhaltspflichten unbestrittenermassen nicht nachgekommen ist und die Alimente für seinen Sohn teilweise von der Gemeinde bevorschusst werden mussten (vgl. E. II/5.3 des angefochtenen Urteils und E. 5.3 hiernach).
5.
Zu prüfen ist schliesslich, ob der Beschwerdeführer gestützt auf den Schutz seines Privatlebens (<ref-law>; Art. 8 Ziff. 1 EMRK) einen Anspruch auf Verlängerung seiner Aufenthaltsbewilligung hat.
5.1. Eine ausländerrechtliche Entfernungsmassnahme und Wegweisung kann Art. 8 EMRK in seiner Ausprägung als Schutz des Privatlebens verletzen (vgl. <ref-ruling> E. 3). Nach der neuesten bundesgerichtlichen Praxis kann nach einer rechtmässigen Aufenthaltsdauer von rund zehn Jahren regelmässig davon ausgegangen werden, dass die sozialen Beziehungen in diesem Land so eng geworden sind, dass der sachliche Anwendungsbereich von Art. 8 EMRK eröffnet ist; im Einzelfall kann es sich indessen anders verhalten und die Integration zu wünschen übrig lassen (<ref-ruling> E. 3.9 S. 278). Die Zumutbarkeit der Rückkehr ist für sich genommen noch kein Grund, das Aufenthaltsrecht zu entziehen, ebensowenig das öffentliche Interesse an einer Steuerung der Zuwanderung. Erfüllt die ausländische Person jedoch einen Widerrufsgrund, liegt hierin ein besonderer Umstand vor, der - unter Einhaltung der weiteren Voraussetzungen (öffentliches Interesse, Verhältnismässigkeit) - einen Eingriff in den Schutzbereich des Privatlebens rechtfertigt (Urteil 2C_906/2018 vom 23. Dezember 2019 E. 2.4.1, mit Hinweisen).
Vorliegend hält sich der Beschwerdeführer seit 20 Jahren in der Schweiz auf. Die Verlängerung seiner Aufenthaltsbewilligung gestützt auf den Schutz seines Privatlebens fällt somit grundsätzlich in Betracht. Zu prüfen ist indessen, ob ein Widerrufsgrund vorliegt.
5.2.
5.2.1. Die Vorinstanz hat den Widerrufsgrund gemäss <ref-law> als erfüllt erachtet. Danach kann die zuständige Behörde eine Aufenthaltsbewilligung widerrufen oder nicht mehr verlängern, wenn die ausländische Person unter anderem erheblich oder wiederholt gegen die öffentliche Sicherheit und Ordnung in der Schweiz oder im Ausland verstossen hat. Dies kann auch bei einer mutwilligen Nichterfüllung öffentlich-rechtlicher oder privatrechtlicher Verpflichtungen der Fall sein (vgl. den vorliegend anwendbaren <ref-law>, in Kraft bis 31. Dezember 2018; entspricht <ref-law>).
5.2.2. Die "Schuldenwirtschaft" vermag eine aufenthaltsbeendende Massnahme bloss dann zu rechtfertigen, wenn ein erschwerendes Merkmal hinzukommt (Urteile 2C_81/2018 vom 14. November 2018 E. 3.2.2; 2C_273/2010 vom 6. Oktober 2010 E. 3.3). Das Nichterfüllen der Zahlungspflichten muss selbstverschuldet und qualifiziert vorwerfbar sein; erforderlich ist ein erheblicher Ordnungsverstoss, der aber auch in einer qualifizierten Leichtfertigkeit liegen kann. Neben der Höhe der Schulden und der Anwesenheitsdauer des pflichtvergessenen Schuldners ist entscheidend, ob und inwiefern dieser sich bemüht hat, seine Verbindlichkeiten abzubauen und mit den Gläubigern nach einer Lösung zu suchen. Eine durch Schicksalsschläge bedingte Nichterfüllung öffentlich-rechtlicher oder privatrechtlicher Verpflichtungen gilt nicht als mutwillig. Die Mutwilligkeit setzt vielmehr ein von Absicht, Böswilligkeit oder qualifizierter Fahrlässigkeit getragenes Verhalten voraus (Urteile 2C_81/2018 vom 14. November 2018 E. 3.2.2; 2C_789/2017 vom 7. März 2018 E. 3.3.1).
Wurde eine Verwarnung (<ref-law>) bereits ausgesprochen, ist ein Widerruf zulässig, wenn in vorwerfbarer Weise weitere Schulden angehäuft wurden. Zu berücksichtigen ist insbesondere, welche Anstrengungen zur Sanierung unternommen worden sind. (Urteile 2C_789/2017 vom 7. März 2018 E. 3.3.2; 2C_273/2010 vom 6. Oktober 2010 E. 3.4).
5.3. Dem angefochtenen Urteil können folgende vom Beschwerdeführer nicht bestrittenen Angaben zu seiner Schuldensituation entnommen werden: Am 26. April 2011 wies er Schulden in der Höhe von mehr als Fr. 54'000.-- auf (vgl. vorne, Sachverhalt A.b). Am 24. September 2012 war er im Betreibungsregister mit fünf Einkommenspfändungen in der Höhe von Fr. 6'992.80, vier Zahlungsbefehlen im Umfang von Fr. 3'043.35 und elf Verlustscheinen im Betrag von Fr. 63'505.10 verzeichnet. Gemäss Auskunft des Oberamtes U._ vom 25. September 2012 hätten zu jenem Zeitpunkt Alimentenausstände in der Höhe von Fr. 106'140.-- bestanden (vgl. vorne, Sachverhalt A.c). Am 11. Oktober 2019 war er sodann mit sechs Pfändungen in der Höhe von Fr. 20'084.90 sowie 28 Verlustscheinen im Betrag von Fr. 249'881.65 verzeichnet, darunter eine Pfändung in der Höhe von Fr. 17'218.-- sowie acht Verlustscheine im Umfang von Fr. 225'173.45 des Oberamtes U._. Gemäss Mitteilung des Oberamtes vom 15. Oktober 2019 seien die Alimente für die beiden Kinder in der Höhe von monatlich je Fr. 536.-- (Betrag für das Jahr 2019) bevorschusst worden, wobei sich der Saldo der bevorschussten Alimente auf Fr. 157'139.10 und derjenige der nicht bevorschussten Alimente auf Fr. 124'771.40 belaufen habe (vgl. vorne, Sachverhalt B.e und E. I/10 des angefochtenen Urteils). Schliesslich war der Beschwerdeführer am 7. Februar 2020 mit Schulden von insgesamt Fr. 293'416.55 im Betreibungsregister verzeichnet. Ein grosser Teil davon bestand aus Forderungen des Oberamtes U._. Gemäss Auskunft des Oberamtes hätten die Alimentenausstände am 28. Februar 2020 Fr. 279'681.50 betragen, wovon Fr. 160'888.10 bevorschusst worden seien (vgl. E. II/4.1 des angefochtenen Urteils).
Objektive, nachvollziehbare Gründe für diese erhebliche Verschuldung sind nicht erkennbar. Gemäss dem angefochtenen Entscheid hatte der Beschwerdeführer, der seit dem Jahr 2000 in der Schweiz lebt, vor Dezember 2019 noch nie eine Vollzeitstelle inne. Soweit er der Vorinstanz vorwirft, sie habe sich mit seinen getätigten Arbeitsbemühungen und den verschiedenen Arbeitsstellen nicht auseinandergesetzt, sind seine Behauptungen nicht weiter substanziiert. Insbesondere zeigt er nicht auf, welche konkreten Anstrengungen er unternommen habe, um früher eine Vollzeitanstellung zu finden bzw. seine Chancen auf dem Arbeitsmarkt zu erhöhen. Unbelegt bleiben namentlich die in der Beschwerdeschrift erwähnten gesundheitlichen Gründen.
5.4. Dem Beschwerdeführer ist zwar zugute zu halten, dass er seit Dezember 2019 erstmals in einem Vollzeitpensum angestellt ist und im vorinstanzlichen Verfahren Belege für zwei am 11. Mai 2020 getätigte Unterhaltszahlungen vorweisen konnte (vgl. E. II/4.2 des angefochtenen Urteils). Entscheidend ist indessen, ob ihm eine positive Prognose bezüglich der voraussichtlichen Entwicklung seiner finanziellen Situation gestellt werden kann.
5.4.1. Zu seinen Ungunsten spricht zunächst der Umstand, dass der Beschwerdeführer ohne ersichtlichen Grund seine wirtschaftliche Leistungsfähigkeit während 19 Jahren nicht voll ausschöpfte. Eine Vollzeitstelle fand er erst im Dezember 2019 und somit zu einem Zeitpunkt, als er unter dem Druck des ausländerrechtlichen Verfahrens stand (vgl. E. 5.3 hiervor). Unter diesem Gesichtspunkt ist nicht sicher, ob er die momentane Vollzeitanstellung über längere Zeit behalten wird.
5.4.2. Sodann sind keine konkreten Bemühungen für eine nachhaltige Schuldensanierung ersichtlich. Gemäss dem angefochtenen Urteil sei beim Beschwerdeführer kein wirklicher Wille zum Schuldenabbau erkennbar. Auch habe die im Dezember 2019 angetretene Vollzeitstelle mit einem Brutto-Verdienst von Fr. 4'500.-- zu keiner namhaften Reduktion der Verschuldung geführt (vgl. E. II/4.2 des angefochtenen Urteils).
Der Beschwerdeführer bringt zwar vor, dass sich seine finanzielle Situation in absehbarer Zeit verbessern würde, doch bleiben seine Behauptungen weitgehend unsubstanziiert. Insbesondere zeigt er nicht auf, welche konkreten Schritte er unternommen habe bzw. welche Massnahmen er zu ergreifen gedenke, um seine Schulden nachhaltig zu sanieren und keine neuen Schulden mehr anzuhäufen (vgl. auch E. 5.2.2 hiervor). Die blosse - nicht weiter belegte - Behauptung, er habe sowohl mit dem bevorschussenden Oberamt wie auch mit dem zuständigen Betreibungsamt Kontakt aufgenommen, genügt nicht, um einen ernsthaften Willen zum Schuldenabbau darzutun.
5.4.3. Gegen eine günstige Prognose spricht schliesslich der Umstand, dass der Beschwerdeführer aufgrund seiner Schuldensituation am 26. April 2011 von der Migrationsbehörde ein erstes Mal verwarnt wurde (vgl. vorne, Sachverhalt A.b). In der Folge verschlechterten sich seine finanziellen Verhältnisse deutlich, sodass er am 5. Oktober 2012 von der Migrationsbehörde ein zweites Mal verwarnt und darauf aufmerksam gemacht wurde, dass Schuldenanhäufung zur Nichtverlängerung seines Aufenthaltsrechts und zur Wegweisung aus der Schweiz führen könnte (vgl. E. I/4 des angefochtenen Urteils). Damit musste ihm bewusst sein, dass die Verlängerung seiner Aufenthaltsbewilligung namentlich vom Abbau der bestehenden Schulden abhing. Der Beschwerdeführer liess sich von den beiden Verwarnungen indessen nicht beeindrucken, sondern häufte weiterhin Schulden an (vgl. E. 5.3 hiervor). Als wirkungslos erwies sich zudem eine Verurteilung vom 13. August 2014 wegen Vernachlässigung von Unterhaltspflichten (vgl. vorne, Sachverhalt B.e). Dieses Verhalten lässt erhebliche Zweifel daran aufkommen, dass er nun ernsthaft beabsichtigt, seine finanzielle Situation nachhaltig zu sanieren und keine neuen Schulden mehr zu generieren.
5.5. Im Ergebnis ist mit der Vorinstanz davon auszugehen, dass der Beschwerdeführer in qualifiziert vorwerfbarer Weise in einem wesentlichen Umfang Schulden angehäuft und damit den Widerrufsgrund von <ref-law> erfüllt hat (vgl. E. II/4.2 des angefochtenen Urteils). Auch kann ihm angesichts seines bisherigen Verhaltens und der fehlenden Bemühungen um eine nachhaltige Schuldensanierung keine günstige Prognose hinsichtlich der künftigen finanziellen Entwicklung gestellt werden.
6.
Zu prüfen ist schliesslich, ob die Nichtverlängerung der Aufenthaltsbewilligung des Beschwerdeführers sich als verhältnismässig erweist (Art. 8 Ziff. 2 EMRK; <ref-law>; <ref-law>). Bei der Interessenabwägung zu berücksichtigen sind insbesondere das Alter, in welchem die ausländische Person eingewandert ist, wie lange sie im Gastland gelebt hat und welche Beziehungen zum Heimatstaat sie unterhält. Ins Gewicht fällt aber auch das Interesse des Staates an einer Kontrolle und Steuerung der Zuwanderung (<ref-law>; <ref-ruling> E. 3.7).
6.1. Mit Bezug auf das öffentliche Interesse an der Ausreise des Beschwerdeführers ist zunächst festzuhalten, dass er - trotz zwei Verwarnungen - kontinuierlich Schulden anhäufte und keine hinreichenden Bemühungen um Schuldentilgung dartun konnte.
Sodann lässt sich dem angefochtenen Urteil entnehmen, dass der Beschwerdeführer insgesamt zu Geldstrafen von 360 Tagessätzen zu je Fr. 20.-- bis Fr. 90.-- sowie acht Bussen in der Höhe von insgesamt Fr. 2'700.-- verurteilt wurde (vgl. vorne, Sachverhalt B.e und E. II/4.1 des angefochtenen Urteils). Zwar ist ihm zuzustimmen, dass es sich, namentlich bei den Verkehrsdelikten, um keine schweren Straftaten handelt. Anders verhält es sich jedoch mit der letzten Verurteilung vom 16. April 2018, die unter anderem wegen mehrfacher Nötigung, mehrfacher Drohung und mehrfachen Vergehens gegen das Waffengesetz erfolgte (vgl. E. 4.3.3 hiervor). Diese Straftaten können nicht mehr als Bagatellen angesehen werden.
Zudem ist darauf hinzuweisen, dass der Beschwerdeführer gemäss dem angefochtenen Urteil am 26. April 2011 und am 5. Oktober 2012 nicht nur wegen seiner Schuldensituation, sondern auch aufgrund seiner Straffälligkeit ausländerrechtlich verwarnt wurde (vgl. E. II/4.3 des angefochtenen Urteils). Dies hielt ihn jedoch von weiteren, schwereren Straftaten nicht ab, sodass davon auszugehen ist, dass er Mühe hat, sich an die Rechtsordnung zu halten.
Insgesamt besteht ein hohes öffentliches Interesse an der Ausreise des Beschwerdeführers, welches sich nicht in der Durchsetzung einer restriktiven Einwanderungspolitik erschöpft.
6.2. Für die Verlängerung der Aufenthaltsbewilligung spricht insbesondere seine langjährige Anwesenheit in der Schweiz. So ist der mittlerweile 40-jährige Beschwerdeführer im Alter von 20 Jahren in die Schweiz eingereist und verbrachte somit die Hälfte seines Lebens hier.
Angesichts der konkreten Umstände drängt sich jedoch der Schluss auf, dass die Länge seiner Aufenthaltsdauer nicht mit seiner wirtschaftlichen und sozialen Integration korreliert. Zu seinen Ungunsten sprechen insbesondere seine hohe Verschuldung, seine ungenügende berufliche Integration sowie sein strafrechtlich relevantes Verhalten.
6.3. Schliesslich erscheint eine Rückkehr des Beschwerdeführers in sein Heimatland auch als zumutbar. Vor seiner Einreise in die Schweiz lebte der Beschwerdeführer während 20 Jahren in der Türkei und verbrachte somit die persönlichkeitsprägenden Kinder- und Jugendjahre dort. Daher ist anzunehmen, dass er mit der Sprache und den Gepflogenheiten seiner Heimat vertraut ist, was seine Integration in der Türkei erleichtern dürfte. Den Kontakt zu seinem 15-jährigen Sohn kann er im Hinblick auf die räumliche Distanz zur Türkei auch über die Grenze hinweg besuchsweise pflegen (vgl. Urteil 2C_417/2018 vom 19. November 2018 E. 7.1, mit Hinweis). Zudem ist die Aufrechterhaltung der Beziehung zu seinem Kind über die üblichen Kommunikationsmittel möglich (vgl. auch E. II/5.4 des angefochtenen Urteils). Im Übrigen wurde er im Sinne der Verhältnismässigkeit zweimal verwarnt, ohne dass er in der Folge etwas an seiner Situation geändert hätte.
Soweit der Beschwerdeführer schliesslich geltend macht, als Wehrdienstverweigerer drohe ihm in der Türkei eine schikanöse Behandlung, wenn nicht sogar gewalttätige oder menschenunwürdige Sanktionen, verbleiben seine Äusserungen im Allgemeinen. Solch generelle und unsubstanziierte Behauptungen sind nicht geeignet, eine konkrete Gefährdung für den Beschwerdeführer persönlich aufzuzeigen. Auch ergeben sich keine glaubhaften Hinweise auf eine menschenrechtswidrige Behandlung wegen des nicht geleisteten Militärdienstes. Folglich wird nicht glaubhaft dargetan, dass seine Wegweisung in die Türkei völker- oder verfassungswidrig sein könnte, weil sie namentlich gegen das Non-Refoulement-Prinzip (Art. 25 Abs. 2 und 3 BV; Art. 3 EMRK) verstossen würde (vgl. dazu Urteil 2C_108/2018 vom 28. September 2018 E. 5.4.4, mit Hinweisen).
7.
7.1. Das angefochtene Urteil ist - im Ergebnis - nicht zu beanstanden. Die Beschwerde erweist sich als unbegründet und ist abzuweisen.
7.2. Die dem Beschwerdeführer durch die Vorinstanz angesetzte Frist von zwei Monaten ab Rechtskraft des Urteils des Verwaltungsgerichts vom 24. September 2020 zum Verlassen des Landes wird bestätigt. Diese ist dahingehend auszulegen, dass der Beschwerdeführer binnen zweier Monate ab Zustellung des vorliegenden bundesgerichtlichen Entscheids die Schweiz zu verlassen hat (vgl. Urteil 2C_512/2019 vom 21. November 2019 E. 9.2).
7.3. Bei diesem Ausgang des Verfahrens wird der unterliegende Beschwerdeführer kostenpflichtig (<ref-law>). Er hat ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung gestellt (<ref-law>). Dieses ist begründet, da der Beschwerdeführer bedürftig ist und das Rechtsbegehren, insbesondere aufgrund seiner langjährigen Anwesenheit in der Schweiz sowie des Umstandes, dass die Vorinstanz seinen Anspruch auf Verlängerung der Aufenthaltsbewilligung zu Unrecht nicht geprüft hat, nicht von vornherein als aussichtslos erschien. Eine Parteientschädigung ist nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen. Es werden keine Gerichtskosten erhoben. Dem Beschwerdeführer wird Rechtsanwältin Stephanie Selig als unentgeltliche Rechtsbeiständin beigegeben. Ihr wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'000.-- ausgerichtet.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Solothurn und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 11. März 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Ivanov