Erwägungen:
1.
1.1. A._ (geb. 1984; der Beschwerdeführer) ist Staatsangehöriger der Demokratischen Republik Kongo. Er reiste am 14. April 1999 in die Schweiz ein und ersuchte unter falscher Identität um Asyl. Das damalige Bundesamt für Flüchtlinge wies das Gesuch am 13. September 1999 ab; wegen Unzumutbarkeit des Vollzugs wurde er vorläufig aufgenommen. Am 20. Februar 2006 wurde er Vater einer Tochter, die das Schweizer Bürgerrecht besitzt. In der Folge ersuchte er zwei Mal vergeblich um Erteilung einer Aufenthaltsbewilligung. Am 28. Februar 2011 hob das damalige Bundesamt für Migration die vorläufige Aufnahme auf und setzte eine Ausreisefrist bis 26. April 2011 an. Der Beschwerdeführer blieb in der Folge in der Schweiz und wurde am 3. März 2013 Vater eines Sohnes mit Schweizer Bürgerrecht. Am 4. August 2014 heiratete er eine Schweizerin und erhielt eine Aufenthaltsbewilligung. Am 18. Oktober 2014 kam die gemeinsame Tochter zur Welt, die das Schweizer Bürgerrecht besitzt. Per 11. März 2016 trennten sich die Ehegatten, wobei die Tochter unter Beibehaltung der gemeinsamen elterlichen Sorge unter die Obhut der Mutter gestellt wurde. Der Beschwerdeführer wurde zwischen 2002 und 2020 insgesamt 26 Mal strafrechtlich verurteilt und deshalb am 5. Juni 2015 ermahnt. Er musste mit über Fr. 128'000.-- von der öffentlichen Fürsorge unterstützt werden und war Anfang 2020 mit vier Betreibungen über Fr. 10'861.60 sowie 25 Verlustscheinen über Fr. 105'263.30 im Betreibungsregister verzeichnet.
1.2. Mit Verfügung vom 3. Juni 2020 verweigerte das Migrationsamt des Kantons Solothurn dem Beschwerdeführer die Verlängerung seiner Aufenthaltsbewilligung und wies ihn aus der Schweiz weg. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Solothurn am 5. November 2020 ab, soweit es darauf eintrat.
1.3. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten bzw. subsidiärer Verfassungsbeschwerde vom 9. Dezember 2020 beantragt der Beschwerdeführer dem Bundesgericht, seine Aufenthaltsbewilligung sei zu verlängern, eventualiter sei die Sache zum Neuentscheid zurückzuweisen. Zudem sei ihm die unentgeltliche Rechtspflege zu gewähren und ihm zu gestatten, das Verfahren in der Schweiz abzuwarten. Das Bundesgericht hat die vorinstanzlichen Akten, aber keine Vernehmlassungen eingeholt. Mit dem vorliegenden Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung bzw. vorsorgliche Massnahmen gegenstandslos.
2.
2.1. Der Beschwerdeführer hat die Beschwerde zulässigerweise auf Französisch verfasst (Art. 42 Abs. 1 BGG); das Verfahren vor Bundesgericht wird jedoch in der Sprache des angefochtenen Entscheids und damit auf Deutsch geführt (Art. 54 Abs. 1 BGG).
2.2. Angefochten ist der Endentscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Der Beschwerdeführer ist zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG) und hat seine Eingabe frist- und formgerecht eingereicht (Art. 42 und Art. 100 Abs. 1 BGG). Nachdem er sich in vertretbarer Weise auf einen Bewilligungsanspruch nach Art. 50 Abs. 1 lit. b AIG (SR 142.20) bzw. Art. 13 Abs. 1 BV und Art. 8 EMRK beruft, steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten zur Verfügung (Art. 83 lit. c Ziff. 2 BGG e contrario). Für die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde bleibt kein Raum; darauf ist nicht einzutreten (Art. 113 BGG).
3.
Unbestritten ist, dass sich der Beschwerdeführer nach der Trennung von seiner Ehefrau nicht mehr auf Art. 42 Abs. 1 AIG berufen kann. Ebenso fällt ein nachehelicher Aufenthaltsanspruch gemäss Art. 50 Abs. 1 lit. a AIG ausser Betracht, nachdem die eheliche Gemeinschaft weniger als drei Jahre lang gedauert hat. Der Beschwerdeführer beruft sich wegen seiner langen Anwesenheit in der Schweiz und der Beziehung zu seinen Kindern auf Art. 50 Abs. 1 lit. b AIG sowie Art. 13 Abs. 1 BV und Art. 8 EMRK.
4.
4.1. Nach Auflösung der Ehe oder der Familiengemeinschaft besteht der Anspruch des Ehegatten und der Kinder auf Erteilung und Verlängerung der Aufenthaltsbewilligung nach den Artikeln 42 und 43 weiter, wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (Art. 50 Abs. 1 lit. b AIG). Nach Art. 50 Abs. 2 AuG kann dies namentlich der Fall sein, wenn die ausländische Person mit abgeleitetem Aufenthaltsrecht Opfer ehelicher Gewalt geworden ist, die Ehe nicht aus freiem Willen geschlossen hat oder ihre soziale Wiedereingliederung im Herkunftsland stark gefährdet erscheint.
4.2. Unter dem Titel von Art. 50 Abs. 1 lit. b AIG bejaht die Praxis unter gewissen Umständen einen Bewilligungsanspruch, wenn der Fortbestand der elterlichen Beziehung zu einem hier gefestigt anwesenheitsberechtigten Kind durch die aufenthaltsbeendende Massnahme in Frage gestellt wäre (BGE 140 II 289 E. 3.4.1; 138 II 229 E. 3.1). Der unbestimmte Rechtsbegriff der "wichtigen persönlichen Gründe" im Sinne von Art. 50 Abs. 1 lit. b AIG wird also namentlich im Lichte des verfassungs- und konventionsrechtlich verankerten Rechts auf Achtung des Familienlebens (Art. 13 Abs. 1 BV und Art. 8 EMRK) ausgelegt, wobei die vom Beschwerdeführer zusätzlich angerufene Kinderrechtskonvention keine Ansprüche verschafft, die darüber hinausgehen würden (vgl. Urteil 2C_358/2021 vom 9. August 2021 E. 3.2.1). Voraussetzung für die Erteilung bzw. Verlängerung einer Aufenthaltsbewilligung zur Wahrnehmung des Rechts auf persönlichen Umgang (Besuchsrecht) mit dem Kind ist (1) eine in affektiver Hinsicht zumindest normale und (2) in wirtschaftlicher Hinsicht enge Eltern-Kind-Beziehung; (3) der Umstand, dass diese Beziehung wegen der Distanz zwischen der Schweiz und dem Staat, in welchen die ausländische Person auszureisen hätte, praktisch nicht mehr aufrechterhalten werden könnte, und (4) dass sich die ausreisepflichtige Person in der Schweiz bisher weitgehend "tadellos" verhalten hat ("umgekehrter Familiennachzug": BGE 144 I 91 E. 5.2 mit Hinweisen; Urteil 2C_358/2021 vom 9. August 2021 E. 3.2.1). Diese Kriterien sind in ihrer Gesamtheit in die Beurteilung mit einzubeziehen (BGE 144 I 91 E. 5.2).
4.3.
4.3.1. Der Beschwerdeführer bringt zusammengefasst vor, er habe seinen Herkunftsstaat im Alter von zwölf Jahren verlassen und lebe seit über zwanzig Jahren in der Schweiz. Er spreche Schweizerdeutsch bzw. Deutsch, sei in der Schweiz verwurzelt und habe hier drei Kinder. Im Herkunftsstaat könne er sich nicht reintegrieren; er sei mit den Gegebenheiten dort nicht mehr vertraut und habe kein soziales Netz. Bei einer Ausreise könnte er den Kontakt zu seinen Kindern nicht aufrechterhalten, was dem Kindeswohl widerspreche. Sein privates Interesse am Verbleib in der Schweiz sei höher zu gewichten als das öffentliche Interesse an der Ausreise.
4.3.2. Unbestritten ist, dass der Beschwerdeführer seine Kinder von vornherein nur im Rahmen seines Besuchsrechts sehen kann. Ob er dieses wahrnimmt bzw. eine affektive Beziehung zu seinen Kindern besteht, hat die Vorinstanz offengelassen (vgl. E. 3.4 des angefochtenen Urteils) und muss auch vorliegend nicht näher geprüft werden. Der Beschwerdeführer stellt nicht in Abrede, dass er für seine Kinder mangels Leistungsfähigkeit keinen Unterhalt bezahlen kann (vgl. S. 7 der Beschwerde), so dass es an einer Beziehung in wirtschaftlicher Hinsicht mangelt. Schliesslich kann keine Rede davon sein, dass sich der Beschwerdeführer in der Schweiz weitgehend tadellos verhalten hat. Er ist seit seiner Einreise wiederholt straffällig und insgesamt 26 Mal verurteilt worden. Zwar hat er die schwersten Straftaten zu Beginn seines Aufenthalts verübt (sexuelle Handlungen mit Kindern, sexuelle Nötigung, einfache Körperverletzung mit einem gefährlichen Gegenstand) und ansonsten hauptsächlich Bussen für Straftaten im Bagatellbereich erhalten; gleichwohl ist er trotz ausdrücklicher Ermahnung vom 5. Juni 2015 immer wieder straffällig geworden. Darüber hinaus kann trotz des langen Aufenthalts nicht einmal ansatzweise von einer wirtschaftlichen Integration gesprochen werden. Der Beschwerdeführer wird von der Sozialhilfe unterstützt (gemäss Vorinstanz mit bislang Fr. 128'021.60) und ist massiv verschuldet (per Januar 2020 mit 25 offenen Verlustscheinen von Fr. 105'263.30 sowie mehreren laufenden Betreibungen). Seine Situation hat sich diesbezüglich trotz Ermahnung vom 5. Juni 2015 nicht verbessert und es geht auch aus der Beschwerde nicht hervor, dass sich die wirtschaftliche Situation in absehbarer Zeit ändern könnte bzw. der Beschwerdeführer hierfür besondere Anstrengungen unternimmt. Insoweit wird auch das Argument relativiert, die wirtschaftliche Integration im Herkunftsstaat gestalte sich für den Beschwerdeführer schwierig, ist ihm eine solche doch auch in der Schweiz während über 20 Jahren nicht gelungen. Dass der Beschwerdeführer Deutsch spricht, kann angesichts der langen Aufenthaltsdauer erwartet werden. Zwar dürfte sich die Wiedereingliederung im Herkunftsstaat als schwierig erweisen, doch hat der Beschwerdeführer dort immerhin die prägende Kindheitsphase und einen Teil seiner Jugend verbracht, wie die Vorinstanz zu Recht erwogen hat (vgl. E. 4.2 des angefochtenen Urteils).
4.4. Zusammenfassend kann der Beschwerdeführer seine lange Aufenthaltsdauer sowie die affektive Beziehung zu seinen Kindern zu seinen Gunsten anführen, während angesichts seiner fortgesetzten Straffälligkeit und seiner fehlenden wirtschaftlichen Integration sowie seiner Fürsorgeabhängigkeit ein erhebliches öffentliches Interesse an der Wegweisung besteht. Nachdem der Beschwerdeführer seine Kinder wie erwähnt von vornherein nur im Rahmen seines Besuchsrechts sehen kann, ist die Vorinstanz unter Berücksichtigung sämtlicher Umstände zu Recht davon ausgegangen, dass keine wichtigen persönlichen Gründe nach Art. 50 Abs. 1 lit. b AIG vorliegen bzw. sich die Nichtverlängerung der Aufenthaltsbewilligung und die Wegweisung als verhältnismässig erweisen und damit vor dem Anspruch auf Achtung des Privat- und Familienlebens standhalten. Dabei ändert auch das zitierte Urteil des EGMR Udeh gegen die Schweiz vom 16. April 2013 (Nr. 12020/09) nichts. Unabhängig davon, dass diesem Entscheid angesichts der dortigen besonderen prozessrechtlichen Konstellation keine grundlegende Bedeutung zukommt (vgl. BGE 141 II 169 E. 5.1; 139 I 325 E. 2.4), war der dort Betroffene in einer neuen intakten Beziehung zu einer Schweizerin, bezog keine Sozialhilfe mehr und war für längere Zeit nicht mehr straffällig geworden, was auf den Beschwerdeführer alles nicht zutrifft. Er hat es folglich hinzunehmen, dass er den Kontakt zu seinen Kindern vom Ausland aus pflegen muss.
5.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich als offensichtlich unbegründet und ist im vereinfachten Verfahren abzuweisen (Art. 109 Abs. 2 lit. a BGG). Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Sein Gesuch um unentgeltliche Rechtspflege ist wegen Aussichtslosigkeit abzuweisen (Art. 64 Abs. 1 BGG e contrario).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
4.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Solothurn und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 26. November 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger