Erwägungen:
1.
Mit Entscheid vom 19. November 2020 errichtete die KESB Region Solothurn für C._ (geb. 2015) und D._ (geb. 2013) eine Beistandschaft und setzte E._ als Beiständin ein. Zudem ordnete die KESB ein Kindesschutzgutachten an. Vorsorglich ordnete sie des Weiteren eine ausserschulische Betreuung der Kinder an mindestens zwei Tagen pro Schulwoche im Zetrum F._ und eine Sozial- und traumapädagogische Familienbegleitung im Umfang von bis zu zehn Stunden pro Woche durch die Fachstelle "G._" an.
Gegen diesen Entscheid erhob der Kindsvater (Beschwerdeführer 1) am 9. Dezember 2020 Beschwerde an das Verwaltungsgericht des Kantons Solothurn. Mit Verfügung vom 14. Dezember 2020 wurde der Beschwerdeführer unter Androhung des Nichteintretens im Unterlassungsfall aufgefordert, seine Beschwerde innerhalb von zehn Tagen seit Erhalt dieser Verfügung zu verbessern. Seine Ehefrau (Kindsmutter, Beschwerdeführerin 2) habe innerhalb derselben Frist bekanntzugeben, ob die Beschwerde auch in ihrem Namen geführt werde und diese allenfalls mitzuunterzeichnen. Am 4. Januar 2021 (Postaufgabe) reichten die Beschwerdeführer eine "Ver- und Nachbesserung" ein. Mit Urteil vom 8. Januar 2021 trat das Verwaltungsgericht auf die Beschwerde mangels genügender Begründung nicht ein.
Dagegen haben die Beschwerdeführer mit einer auf den 24. Januar 2021 datierten, aber erst am 8. März 2021 der Post übergebenen Eingabe Beschwerde an das Bundesgericht erhoben.
2.
Die Beschwerdeführer haben das angefochtene Urteil am 12. Januar 2021 entgegengenommen. Die dreissigtägige Beschwerdefrist (Art. 100 Abs. 1 BGG) ist damit am 11. Februar 2021 abgelaufen. Da die Beschwerdefrist gesetzlich bestimmt ist, kann sie entgegen dem entsprechenden Antrag der Beschwerdeführer nicht erstreckt werden (Art. 47 Abs. 1 BGG). Gründe für eine Fristwiederherstellung (Art. 50 BGG) werden nicht vorgebracht. Die erst am 8. März 2021 der Post übergebene Beschwerde ist folglich verspätet. Die Beschwerdeführer richten die Eingabe auch an das Verwaltungsgericht. Sie behaupten und belegen jedoch nicht, dass sie dieselbe Eingabe innert der Beschwerdefrist beim Verwaltungsgericht eingereicht hätten (Art. 48 Abs. 3 BGG).
Im Übrigen enthält die Beschwerde keine hinreichende Begründung (Art. 42 Abs. 2 BGG). Die Beschwerdeführer behaupten, ihre kantonale Beschwerde genügend begründet zu haben, ohne dies jedoch detailliert anhand ihrer Eingaben an das Verwaltungsgericht zu belegen. Eine Auseinandersetzung mit den Erwägungen des Verwaltungsgerichts fehlt.
3.
Die Beschwerde ist damit offensichtlich unzulässig und sie enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 108 Abs. 1 lit. a und b BGG).
4.
Aufgrund der Umstände ist ausnahmsweise auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Das Fristerstreckungsgesuch wird abgewiesen.
2.
Auf die Beschwerde wird nicht eingetreten.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 15. März 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg