Sachverhalt:
A.
A._ (geb. 1985, britischer Staatsangehöriger) und B._ (geb. 1985) sind die nicht verheirateten Eltern von C._ (geb. 2013) und D._ (geb. 2016). Die Familie lebte zunächst in Grossbritannien. Nachdem sich die Eltern im Jahr 2015 getrennt hatten, zog die Kindsmutter mit der Tochter zurück in die Schweiz, wo sie den Sohn gebar. Der Kindsvater kehrte am 3. Februar 2017 in die Schweiz zurück. Die beiden Kinder stehen unter der alleinigen elterlichen Sorge der Kindsmutter.
B.
B.a. Mitte Juli 2019 wandte sich der Kindsvater telefonisch an die Kindes- und Erwachsenenschutzbehörde Region Solothurn (KESB) und ersuchte um behördliche Regelung des Besuchsrechts zwischen ihm und seinen beiden Kindern. Am 4. November 2019 liess er, inzwischen anwaltlich vertreten, bei der KESB beantragen, es sei die elterliche Sorge über die gemeinsamen Kinder auf beide Elternteile zu übertragen und die alternierende Obhut anzuordnen. Eventualiter sei ihm ein umfangreiches Besuchs- und Ferienrecht einzuräumen.
B.b. Die KESB beauftragte am 26. November 2019 die Sozialen Dienste U._ mit einer umfassenden Abklärung der Situation. Am 7. April 2020 erging der entsprechende Bericht. Mit Entscheid vom 25. Juni 2020 wies die KESB die Anträge des Kindsvaters ab und gewährte ihm teilweise die unentgeltliche Rechtspflege.
C.
Am 24. Juli 2020 reichte der Kindsvater beim Verwaltungsgericht des Kantons Solothurn Beschwerde ein und beantragte die Anordnung der gemeinsamen elterlichen Sorge über die Kinder sowie die vollumfängliche Gewährung der unentgeltlichen Rechtspflege für das erstinstanzliche Verfahren. Mit Urteil vom 16. Februar 2021 hiess das Verwaltungsgericht die Beschwerde hinsichtlich der unentgeltlichen Rechtspflege teilweise gut und wies sie in der Hauptsache ab.
D.
D.a. Gegen das Urteil vom 16. Februar 2021 hat A._ (Beschwerdeführer) am 25. März 2021 Beschwerde an das Bundesgericht erhoben. Er beantragt, die beiden Kinder C._ und D._ unter die gemeinsame elterliche Sorge der Eltern zu stellen, eventualiter sei nur der Sohn D._ unter die gemeinsame elterliche Sorge zu stellen. Alsdann verlangt er die Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren.
D.b. Weder B._ (Beschwerdegegnerin) noch die KESB liessen sich zur Beschwerde vernehmen. Das Verwaltungsgericht beantragte am 30. März 2021 deren kostenfällige Abweisung, soweit darauf einzutreten sei, und verwies im Weiteren auf die Akten sowie die Begründung des angefochtenen Entscheids.
D.c. Das Bundesgericht hat die kantonalen Akten eingeholt.

Erwägungen:
1.
Angefochten ist der Endentscheid (<ref-law>) einer letzten kantonalen Instanz, die als oberes Gericht (<ref-law>) über die elterliche Sorge betreffend Kinder nicht verheirateter Eltern entschieden hat. Für diese nicht vermögensrechtliche Zivilsache (<ref-law>) gilt kein Streitwerterfordernis. Der Beschwerdeführer ist zur Beschwerde legitimiert (<ref-law>) und hat diese rechtzeitig erhoben (<ref-law>). Die Beschwerde ist damit grundsätzlich zulässig.
2.
2.1. Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Einwänden. In der Beschwerdebegründung ist daher in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid rechtswidrig sein soll (<ref-law>). Die Begründung muss sachbezogen sein und sich auf den Streitgegenstand beziehen und beschränken. Die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (<ref-ruling> E. 1.7.1; <ref-ruling> E. 2; je mit Hinweisen). Sie soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen (<ref-ruling> E. 2 mit Hinweis). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 2 mit Hinweisen).
2.2. Die Verletzung von verfassungsmässigen Rechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; Rügeprinzip). Es prüft nur klar und detailliert erhobene und soweit möglich belegte Rügen (<ref-ruling> E. 2.4). Wird eine solche Rüge nicht vorgebracht, kann das Bundesgericht eine Beschwerde selbst dann nicht gutheissen, wenn eine Verletzung von verfassungsmässigen Rechten tatsächlich vorliegt (<ref-ruling> E. 1.3 in fine mit Hinweisen).
2.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Gegen die tatsächlichen Feststellungen der Vorinstanz kann einzig vorgebracht werden, sie seien offensichtlich unrichtig, d.h. willkürlich (<ref-ruling> E. 2.3 mit Hinweis), oder sie würden auf einer anderen Rechtsverletzung im Sinne von <ref-law> (z.B. <ref-law> oder <ref-law>) beruhen. Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 4.2 mit Hinweis). Es gilt das strenge Rügeprinzip nach <ref-law> (<ref-ruling> E. 4.1). Auf ungenügend substantiierte Rügen und rein appellatorische Kritik am Sachverhalt tritt das Bundesgericht nicht ein (<ref-ruling> E. 5.4, 249 E. 1.3.1; <ref-ruling> E. 2.3; je mit Hinweisen). Tatfrage ist auch die Beweiswürdigung. Die Anfechtung der diesbezüglichen vorinstanzlichen Feststellungen unterliegt ebenfalls der qualifizierten Begründungspflicht (Urteil 5A_907/2019 vom 27. August 2021 E. 2.2 mit Hinweis).
2.4. Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). In der Beschwerde ist darzutun, inwiefern die Voraussetzungen für eine nachträgliche Einreichung von Tatsachen und Beweismitteln erfüllt sein sollen (<ref-ruling> E. 3). Nach Erlass des angefochtenen Entscheids entstandene (sog. echte) Noven sind vor Bundesgericht unzulässig (<ref-ruling> E. 3.1.2 mit Hinweis).
Der Beschwerdeschrift liegt ein vor Erlass des angefochtenen Entscheids entstandener Bericht der Besuchsbegleitung vom 4. Dezember 2020 bei. Weshalb es dem Beschwerdeführer nicht möglich gewesen sein soll, dieses Beweismittel bereits in das vorinstanzliche Verfahren einzubringen, erläutert er nicht. Ferner sind die ihm unliebsamen Erwägungen bzw. Tatsachenfeststellungen im angefochtenen Entscheid zu seiner Unerfahrenheit und seinem fehlenden Verantwortungsbewusstsein entgegen seiner Auffassung kein Anlass für eine nachträgliche Einreichung, waren diese doch bereits in erster Instanz Prozessthema (vgl. <ref-ruling> E. 4.4.3 mit Hinweis; Urteil 5A_119/2021 vom 14. September 2021 E. 5.4). Damit ist die Erfüllung der Voraussetzungen nach <ref-law> nicht dargetan, weshalb der Bericht unberücksichtigt zu bleiben hat.
3.
Anlass zur Beschwerde gibt die Zuteilung der elterlichen Sorge. Der Beschwerdeführer verlangt, die Kinder unter die gemeinsame elterliche Sorge zu stellen.
3.1. Die KESB stellte beim Beschwerdeführer eine Unerfahrenheit in Bezug auf die Erkennung und Befriedigung der alters- und kindsgerechten Bedürfnisse sowie in Bezug auf die Bedeutung der notwendigen Verantwortung als Elternteil in der Rolle als Sorgeberechtigter fest. Auch die Tatsache, dass die Vaterschaft in Bezug auf den Sohn mittels kindesschutzrechtlicher Massnahmen vor Gericht habe geklärt werden müssen, zeuge von wenig Verantwortungsbewusstsein und väterlicher Fürsorge des Beschwerdeführers. Im Weiteren habe nicht abschliessend geklärt werden können, wie sich der psychische Zustand des Beschwerdeführers präsentiere und ob dieser allfällige negative Auswirkungen auf das Kindeswohl haben könnte. Die Beziehung unter den Eltern sei spätestens seit Herbst 2018 konfliktbeladen und trotz der Unterstützung durch die Fachstelle E._ habe keine Verbesserung erzielt werden können. Vielmehr sei eine Verschlechterung der Verhältnisse und der Kommunikation auf der Elternebene wahrzunehmen. Der elterliche Konflikt sei trotz fachlicher Beratung anhaltend und massiv. All diese Umstände sprächen gegen die Zuteilung der gemeinsamen elterlichen Sorge nach <ref-law>.
3.2. Die Vorinstanz erkannte, das Sorgerecht sei im Sinne von <ref-law> neu zu regeln, da der Beschwerdeführer erst nach Ablauf der Frist von <ref-law> um das gemeinsame Sorgerecht ersucht habe und eine Zustimmung der Kindsmutter zur gemeinsamen elterlichen Sorge nicht vorliege. Für die Auslegung von <ref-law> sei auf die scheidungsrechtliche Regelung (<ref-law>) abzustellen, wonach eine Abänderung des Sorgerechts in Betracht komme, sofern die Beibehaltung der geltenden Regelung das Wohl des Kindes ernsthaft zu gefährden drohe. Die Schwelle für die Zuteilung der Alleinsorge beurteile sich nach <ref-law>, wobei Unerfahrenheit, Krankheit, Ortsabwesenheit, Gewalttätigkeit, ernstliches Sich-nicht-Kümmern oder grobe Pflichtverletzungen gegenüber dem Kind als Gründe gelten würden. Vorliegend habe der Beschwerdeführer nur kurze Zeit von Juli 2013 bis Ende Februar 2015 mit der Kindsmutter und der Tochter zusammengelebt, mit dem Sohn hingegen nie, und er sei mehrere Monate landesabwesend gewesen. Die Verantwortung für die Kinder sei in dieser Zeit gänzlich von der Kindsmutter wahrgenommen worden. Aufgrund der elterlichen Konflikte sei das anfangs gewährte ausgedehnte Besuchsrecht des Beschwerdeführers bei der Kindsmutter zuhause spätestens Ende 2018 nur noch stundenweise, d.h. alle 14 Tage für fünf Stunden gewährt worden. Im Rahmen der vorgenommenen Abklärung habe sich der Beschwerdeführer dahingehend geäussert, dass er bei so wenigen Stunden mit den Kindern keine erzieherischen Aufgaben übernehmen bzw. die Zeit mit ihnen einfach geniessen wolle und sich meistens bewusst nicht an die verabredeten Zeiten halte. Vor diesem Hintergrund erachtete es die Vorinstanz als nachvollziehbar, dass in Bezug auf die Erkennung und Befriedigung der alters- und kindsgerechten Bedürfnisse sowie in Bezug auf die Bedeutung der notwendigen Verantwortung als Elternteil in der Rolle des Sorgeberechtigten von einer gewissen Unerfahrenheit des Beschwerdeführers auszugehen sei. Bezüglich seiner Gesundheit sei zwar zu berücksichtigen, dass die Arztberichte aus dem Jahr 2013, welche die Verdachtsdiagnose auf eine psychische Erkrankung erwähnten (Borderline-Persönlichkeit, depressive Verstimmung, akzentuierte Persönlichkeitsstörung, hypochondrisierende Persönlichkeit), kaum mehr aktuell seien, diese aber dennoch zur Beurteilung, ob sich etwas an der gesundheitlichen Situation geändert habe, beigezogen werden könnten, um sich ein Bild über den heutigen Gesundheitszustand zu machen, zumal während der Abklärung gewisse Auffälligkeiten festgestellt worden seien. Der Beschwerdeführer sei nicht bereit gewesen, die damaligen Ärzte von der Schweigepflicht zu entbinden, und habe stattdessen wenig aussagekräftige Berichte von Allgemeinmedizinern und ein Schreiben der Psychiatrischen Dienste V._ betreffend ein Erstgespräch vom 5. März 2020 eingereicht. In Bezug auf die vom Beschwerdeführer geltend gemachte ausreichende Kommunikationsfähigkeit zwischen den Eltern hielt die Vorinstanz fest, dass vorliegend nicht über die (erstmalige) Erteilung des gemeinsamen Sorgerechts nach <ref-law> zu entscheiden sei, sondern die Neuregelung aufgrund veränderter Verhältnisse nach <ref-law> im Streit stehe. Zusammenfassend kam die Vorinstanz zum Schluss, dass nicht ersichtlich sei, weshalb die Erteilung des gemeinsamen Sorgerechts zur Wahrung des Kindeswohls zum jetzigen Zeitpunkt nötig sein sollte. Vielmehr sei durch Beibehaltung der geltenden Regelung den Kindern Kontinuität in der Erziehung und den Lebensumständen gewährt.
3.3. Der Beschwerdeführer rügt die unrichtige Feststellung des Sachverhalts, da die Vorinstanz in Bezug auf den Sohn zu Unrecht davon ausgegangen sei, dass die Frist gemäss <ref-law> verpasst wurde. Sein Sohn sei erst nach dem 1. Juli 2014 und damit nach der Einführung der <ref-law> zur Welt gekommen, womit keine Frist für den Antrag auf Zuteilung der gemeinsamen elterlichen Sorge bestehe. In Tat und Wirklichkeit handelt es sich hierbei um eine Rechtsrüge, welche im Zusammenhang mit dem Vorwurf zu prüfen ist, die Vorinstanz habe geltendes Recht verletzt, indem sie fälschlicherweise <ref-law> nicht angewendet und stattdessen anhand von <ref-law> einen Wechsel der elterlichen Sorge geprüft habe.
3.4. Sind die Eltern nicht miteinander verheiratet und anerkennt der Vater das Kind oder wird das Kindesverhältnis durch Urteil festgestellt und die gemeinsame elterliche Sorge nicht bereits im Zeitpunkt des Urteils verfügt, so kommt die gemeinsame elterliche Sorge aufgrund einer gemeinsamen Erklärung der Eltern zustande (<ref-law>). Weigert sich ein Elternteil, die Erklärung über die gemeinsame elterliche Sorge abzugeben, so kann der andere Elternteil die Kindesschutzbehörde am Wohnsitz des Kindes anrufen (<ref-law>). Die Kindesschutzbehörde verfügt die gemeinsame elterliche Sorge, sofern nicht zur Wahrung des Kindeswohls an der alleinigen elterlichen Sorge der Mutter festzuhalten oder die alleinige elterliche Sorge dem Vater zu übertragen ist (<ref-law>). Auf Begehren eines Elternteils, des Kindes oder von Amtes wegen regelt die Kindesschutzbehörde die Zuteilung der elterlichen Sorge neu, wenn dies wegen wesentlicher Änderung der Verhältnisse zur Wahrung des Kindeswohls nötig ist (<ref-law>). Diese Regelungen traten am 1. Juli 2014 in Kraft (AS 2014 363).
<ref-law> sieht für den Fall, dass die elterliche Sorge bei Inkrafttreten der Gesetzesnovelle zur elterlichen Sorge am 1. Juli 2014 nur einem Elternteil zusteht, vor, dass der andere Elternteil innerhalb eines Jahres nach Inkrafttreten des neuen Rechts, also bis zum 30. Juni 2015, bei der zuständigen Behörde einen Antrag auf Erteilung der gemeinsamen elterlichen Sorge stellen kann. <ref-law> gilt analog. Nach Ablauf dieser Frist und bei fehlender Zustimmung des sorgeberechtigten Elternteils (<ref-law>) hat sich der betroffene Elternteil auf wichtige neue Tatsachen im Sinne von <ref-law> zu berufen, um die gemeinsame elterliche Sorge zu beantragen (Urteil 5A_30/2017 vom 30. Mai 2017 E. 4.1 mit Hinweisen). Die Zuteilung der gemeinsamen elterlichen Sorge muss diesfalls wegen der Veränderung der Verhältnisse zur Wahrung des Kindeswohls nötig sein. Eine Neuregelung setzt in diesem Sinne voraus, dass die Veränderung der Verhältnisse eine solche gebietet, weil die aktuelle Regelung dem Kind mehr schadet als der mit der Änderung der Hauptbezugsperson verbundene Verlust an Kontinuität in der Erziehung und den Lebensumständen (Urteile 5A_951/2020 vom 17. Februar 2021 E. 4; 5A_266/2017 vom 29. November 2017 E. 8.1 und E. 8.3; je mit Hinweisen).
3.5. In Bezug auf die Tochter, welche vor Inkrafttreten der Gesetzesnovelle zur elterlichen Sorge am 1. Juli 2014 geboren wurde, bestreitet der Beschwerdeführer nicht, dass er die Frist gemäss <ref-law> nicht einhielt bzw. wahrnahm, womit der Antrag auf Zuteilung der gemeinsamen elterliche Sorge nach <ref-law> zu beurteilen war. Der Beschwerdeführer legt nicht dar, inwiefern die Vorinstanz hier <ref-law> falsch angewendet haben soll, und dies ist auch nicht ersichtlich. Er macht allein geltend, es entstünde eine Ungleichbehandlung der Kinder, wenn für den Sohn die gemeinsame elterliche Sorge ausgesprochen würde, nicht aber für die Tochter.
3.6. Mit Bezug auf seinen Sohn ist dem Beschwerdeführer insoweit zuzustimmen, als er dafürhält, die Übergangsbestimmung nach <ref-law> komme nur zur Anwendung, wenn es um die elterliche Sorge über vor dem 1. Juli 2014 geborene Kinder gehe. Ebenso richtig ist, dass die für nach dem 1. Juli 2014 geborene Kinder massgeblichen Gesetzesbestimmungen dem Wortlaut nach keine Frist für die gemeinsame Erklärung (<ref-law>) bzw. die Anrufung der Kindesschutzbehörde (<ref-law>) enthalten. Die Lehre vertritt soweit ersichtlich einhellig die Auffassung, dass eine gemeinsame Sorgeerklärung der Eltern grundsätzlich jederzeit während der gesamten Dauer der Minderjährigkeit des Kindes möglich ist (vgl. <ref-law>; AFFOLTER-FRINGELI/VOGEL, Berner Kommentar, 2016, N. 24 und N. 28 zu <ref-law>, N. 52 zu <ref-law> und N. 9 in fine zu <ref-law>; BUCHER, Elterliche Sorge im schweizerischen und internationalen Kontext, in: Familien in Zeiten grenzüberschreitender Beziehungen, 2013, Rz. 10; GLOOR/SCHWEIGHAUSER, die Reform des Rechts der elterlichen Sorge - eine Würdigung aus praktischer Sicht, FamPra.ch 2014 S. 23; MEIER/STETTLER, Droit de la filiation, 6. Aufl. 2019, Rz. 638; SCHWENZER/COTTIER, in: Basler Kommentar, Zivilgesetzbuch, 6. Aufl. 2018, N. 5 zu <ref-law> und N. 19 zu <ref-law>; im Kontext der abgelaufenen Jahresfrist nach <ref-law>: Votum Seydoux-Christe, AB 2013 S 567; HAUSHEER/GEISER/AEBI-MÜLLER, Das Familienrecht des Schweizerischen Zivilgesetzbuches, 6. Aufl. 2018, Rz. 17.84). Die Frage, ob dies auch für die Anrufung der Kindesschutzbehörde gilt, beantworten nur wenige Autoren. Jene, die es tun, bejahen sie (AFFOLTER-FRINGELI/VOGEL, a.a.O., N. 51 zu <ref-law>; FASSBIND, Belassung, Erhalt und Erteilung der gemeinsamen Sorge als Regelfall, ZKE 2014 S. 99; unklar MEIER/STETTLER, a.a.O., Rz. 639 und Rz. 642, welchen zufolge der Elternteil, welcher nie Inhaber der elterlichen Sorge gewesen sei, sich auf <ref-law> zu stützen habe, demgegenüber nach <ref-law> vorzugehen sei, wenn der betreffende Elternteil die elterliche Sorge einmal inne gehabt habe, diese ihm aber später entzogen worden sei). Ob diesen zuletzt genannten Lehrmeinungen zu folgen wäre, muss indessen vorliegend nicht beantwortet werden.
3.7. Zwar beurteilte die Vorinstanz den Antrag des Beschwerdeführers auf Erteilung der gemeinsamen elterlichen Sorge nach den Voraussetzungen von <ref-law>. Die KESB prüfte aber ihrerseits die Sorgerechtsfrage nach <ref-law> und die Vorinstanz bekräftigte im angefochtenen Entscheid die im Rahmen dieser Prüfung getroffenen erstinstanzlichen Sachverhaltsfeststellungen hinsichtlich der Unerfahrenheit und des fehlenden Verantwortungsbewusstseins des Beschwerdeführers. In Übereinstimmung mit der KESB hielt sie fest, dass weiterhin gewisse Zweifel an der psychischen Gesundheit des Beschwerdeführers bestünden. Auch die Feststellungen der KESB zum Elternkonflikt bestätigte sie, wenn auch nur am Rande ("[a]ufgrund der elterlichen Konflikte") und ohne auf die diesbezüglichen Rügen des Beschwerdeführers inhaltlich einzugehen (vgl. vorne E. 3.2). Der Beschwerdeführer macht in diesem Zusammenhang keine Gehörsverletzung geltend.
3.8. Stattdessen beanstandet er, die Vorinstanz habe nicht näher ausgeführt, inwiefern sich die behauptete Unerfahrenheit derart manifestiere, dass dadurch die Nichterteilung der gemeinsamen elterlichen Sorge gerechtfertigt wäre. Ihm werde dadurch verunmöglicht, den Vorwurf der Unerfahrenheit substantiiert zu entkräften, womit die Vorinstanz ihre Begründungspflicht verletze. Im Kern zielt die Kritik des Beschwerdeführers nicht eigentlich auf eine fehlende Begründung ab, sondern ist er mit der Bedeutung, welche die Vorinstanz diesem Element zumass, nicht einverstanden. So äussert er denn auch an derselben Stelle die Auffassung, Unerfahrenheit in Bezug auf die Erkennung alters- und kindsgerechter Bedürfnisse sei nicht derart gewichtig, als dass ihm deshalb jene Mitbestimmungsrechte verweigert werden könnten, welche der elterlichen Sorge inhärent seien (Recht auf Informations- und Mitbestimmung betreffend die wichtigen Entscheide nicht alltäglichen Charakters wie die Wahl der Schule, die Konfession des Kindes, medizinische Eingriffe, Ausübung von Hochleistungssport, dauerhafte Übertragung der Tagesbetreuung auf Dritte). Damit erweist sich die Gehörsrüge als unbegründet.
3.9. Mit Blick auf den von der Vorinstanz festgestellten Sachverhalt erhebt der Beschwerdeführer keine Sachverhaltsrügen. Als offensichtlich unrichtig beanstandet er einzig die "Feststellung", die Anwendbarkeit und Einhaltung der Übergangsfrist von <ref-law> gelte als unbestritten (was vielmehr eine rechtliche Beanstandung darstellt, vgl. vorne E. 3.3). Er beschränkt sich in seiner Beschwerdeschrift darauf zu behaupten, es liege kein elterlicher Dauerkonflikt vor, der eine Einigung in Kindesangelegenheiten verunmöglichen würde. Sein Verweis auf die kantonale Beschwerdeschrift, wo er sich zu dieser Thematik ausführlicher äusserte, kann nicht als Sachverhaltsrüge konstruiert werden (vgl. vorne E. 2.1 in fine). Auch mit Bezug auf seine Landesabwesenheit, das kurze Zusammenleben nur mit der Tochter, nie aber mit dem Sohn, sein Verantwortungsbewusstsein, seine erzieherischen Fähigkeiten und seine psychische Gesundheit trägt er lediglich seine eigene Sachverhaltsdarstellung vor, ohne Willkür in der Sachverhaltsfeststellung zu bemängeln. Der von der Vorinstanz festgestellte Sachverhalt ist damit für das Bundesgericht verbindlich (vgl. vorne E. 2.3).
3.10. Entgegen der Auffassung des Beschwerdeführers liegen gestützt darauf genügend Elemente vor, um die gemeinsame elterliche Sorge selbst bei einer Prüfung der Voraussetzungen nach <ref-law> zu verweigern. Es mag sich zwar mit Blick auf den gesetzgeberischen Willen, dass die alleinige elterliche Sorge bei erstmaligem Entscheid die Ausnahme bleiben soll, um einen Grenzfall handeln. Im hier interessierenden Fall fällt indessen ins Gewicht, dass nicht eine Sachverhaltskonstellation vorliegt, in welcher der Beschwerdeführer zum ersten Mal Vater geworden wäre. In solchen Konstellationen stellt eine anfängliche Unerfahrenheit die Regel dar. Der Beschwerdeführer war aber bereits Vater einer Tochter, als sein Sohn zur Welt kam. Wenn ihm bei dieser Sachlage vorgehalten wird, die Bedürfnisse seiner Kinder nicht (ausreichend) erkennen zu können, so wiegt dies schwer, zumal damit seine Erziehungsfähigkeit infrage gestellt wird (zu dieser als Voraussetzung für die Sorgerechtszuteilung vgl. Urteil 5A_729/2020 vom 4. Februar 2021 E. 3.3.5.1; zur Unterfahrenheit als Grund für die Alleinzuteilung vgl. Urteil 5A_886/2018 vom 9. April 2019 E. 4.3 [zu <ref-law>]). Anders als der Beschwerdeführer meint, bedingt der Entscheid über Kinderbelange (gerade - aber nicht nur - im Zusammenhang mit der schulischen und beruflichen Ausbildung sowie der Gesundheit des Kindes, welche der Beschwerdeführer selbst beispielhaft nennt) Kenntnis über die Fähigkeiten und Bedürfnisse des Kindes, damit er seinem Wohl entsprechend gefällt werden kann (vgl. <ref-ruling> E. 3.5). In diesem Zusammenhang gilt es auch zu beachten, dass der Beschwerdeführer vor Bundesgericht - wie bereits vor Vorinstanz - weder die Verweigerung der alternierenden Obhut noch die Regelung des persönlichen Verkehrs anficht, seine Kinder ab Ende 2018 nur noch alle vierzehn Tage jeweils für fünf Stunden sah und er sich selbst dahingehend äusserte, dass er keine erzieherischen Aufgaben übernehmen wolle, wenn er nur so wenige Stunden mit seinen Kindern verbringen dürfe (vgl. vorne E. 3.2). Berücksichtigt werden darf ferner, dass für die Feststellung des Kindesverhältnisses zwischen dem Beschwerdeführer und seinem Sohn eine Vaterschaftsklage angehoben werden musste (vgl. Votum Sommaruga, AB 2012 N 1645 [im Kontext des Sorgerechtsentscheids nach <ref-law>]), obwohl die Parteien bereits Eltern einer gemeinsamen Tochter waren. Schliesslich ist dem Umstand besondere Bedeutung beizumessen, dass seit der Trennung der Parteien vor mittlerweile sechs Jahren die Beschwerdegegnerin die Verantwortung für die Kinder alleine wahrgenommen hat. Betreffend die Auswirkungen des Elternkonflikts auf das Kindeswohl hat die Vorinstanz zwar keine Feststellungen getroffen und betreffend die psychische Gesundheit des Beschwerdeführers keine eindeutigen. Es ergibt sich aber bereits aus den soeben dargelegten Besonderheiten des vorliegend zu beurteilenden Falles, dass der angefochtene Entscheid selbst unter der Hypothese der Anwendbarkeit von <ref-law> mit Bundesrecht vereinbar ist.
3.11. Bei diesem Ergebnis erübrigt es sich, auf die Rüge der Ungleichbehandlung von Schwester und Bruder (E. 3.5) einzugehen.
4.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kosten- (<ref-law>), nicht aber entschädigungspflichtig, da keine Vernehmlassungen eingereicht wurden und der obsiegenden Beschwerdegegnerin damit keine zu entschädigenden Kosten entstanden sind (Art. 68 Abs. 1 und 2 BGG). Die Behörde hätte ohnehin keinen Anspruch auf Ersatz allfällig entstandener Kosten (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung ist abzuweisen, da die Beschwerde nach dem Ausgeführten als von Anfang an aussichtslos eingestuft werden muss (Art. 64 Abs. 1 und 2 BGG). Darüber hinaus begnügt sich der anwaltlich vertretene Beschwerdeführer für den Nachweis der behaupteten Mittellosigkeit auf den Verweis auf sein vor Vorinstanz gestelltes Armenrechtsgesuch, was nicht genügt (vgl. Urteile 5A_875/2021 vom 27. Oktober 2021 E. 2; 4A_622/2020 vom 5. Februar 2021 E. 2.4; je mit Hinweisen). Vorliegend gilt dies umso mehr, als die unentgeltliche Rechtspflege in den kantonalen Instanzen umstritten war.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, der Kindes- und Erwachsenenschutzbehörde (KESB) Region Solothurn und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 29. November 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Die Gerichtsschreiberin: Gutzwiller