Erwägungen:
1.
1.1. A.X._ und B.X._ wurden für die Staats- und die direkte Bundessteuer 2010 am 14. Juni 2012 nach Ermessen veranlagt. Die mittels A-Post-Plus versandte Veranlagungsverfügung wurde gemäss Track & Trace der Post am 16. Juni 2012 in den Briefkasten der Pflichtigen gelegt. Am 18. Juli 2012 erhoben die Eheleute X._ in Form der Einreichung einer Steuererklärung Einsprache. Darauf trat die Steuerverwaltung des Kantons Basel-Stadt am 24. Juli 2012 wegen Verspätung nicht ein, was von der kantonalen Steuerrekurskommission und danach vom Appellationsgericht des Kantons Basel-Stadt (als Verwaltungsgericht; Urteil vom 4. Dezember 2013) geschützt wurde.
1.2. Am 21. Januar 2014 (Postaufgabe) haben A.X._ und B.X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Sie beantragen im Wesentlichen, das appellationsgerichtliche Urteil aufzuheben. Eventualiter sei die Einsprachefrist zu erstrecken.
1.3. Es wurde darauf verzichtet, Vernehmlassungen einzuholen.
2.
2.1. Die Vorinstanz hat die Verfahren betreffend Staats- und Bundessteuer vereinigt und ein einziges Urteil gefällt. Die Beschwerdeführer fechten dieses Urteil mit einer einzigen Beschwerdeeingabe an. Das ist zulässig, sofern in der Beschwerde zwischen den beiden Steuerarten unterschieden wird und aus den Anträgen hervorgeht, inwieweit diese angefochten sind und wie zu entscheiden ist (vgl. BGE 135 II 260 E. 1.3.2 S. 264 f.; 131 II 553 E. 4.2). Das Bundesgericht seinerseits eröffnet grundsätzlich zwei Verfahren, wenn sowohl die kantonalen Steuern wie auch die direkte Bundessteuer streitig sind, um die Fälle aller Kantone einheitlich zu erfassen. Es behält sich aber vor, die beiden Verfahren zu vereinigen und nur ein Urteil zu fällen. Das rechtfertigt sich auch hier (vgl. das Urteil 2C_603/2012/2C_604/2012 vom 10. Dezember 2012 E. 1).
2.2. In seinem Urteil 2C_570/2011 vom 24. Januar 2012 (StR 67/2012 S. 301) hat sich das Bundesgericht umfassend mit dem massgeblichen Zustelldatum bei A-Post-Plus-Sendungen auseinandergesetzt und das mittels Track & Trace der Post festgelegte Datum der Einlage in den Briefkasten als für die Fristauslösung verbindlich eingestuft. Im vorliegend zu beurteilenden Sachverhalt lässt sich kein relevanter Unterschied zu demjenigen des besagten Urteils erkennen, so dass ohne weiteres darauf verwiesen werden kann. Es werden dort auch die meisten der von den Beschwerdeführern vorgebrachten Argumente entkräftet.
2.3. Es besteht im Übrigen kein Anlass, die tatsächliche Zustellung in den Briefkasten neu und entgegen feststehender Rechtsprechung nicht mehr als fristauslösenden Vorgang zu betrachten. Der von den Beschwerdeführern gemachte Hinweis auf die Zustellfiktion (sieben Tage nach erfolgloser versuchter Zustellung) geht fehl, weil hier der Beweis der Zustellung konkret erbracht ist. Ebenso wenig vermag ihnen der Grundsatz von Treu und Glauben weiterzuhelfen, soweit sie diesen überhaupt genügend substantiiert angerufen haben sollten.
3.
Nach dem Gesagten sind die Verfahren zu vereinigen und im vereinfachten Verfahren gemäss Art. 109 BGG abzuweisen (weshalb es sich hier auch erübrigt, die Belange der Staats- und der Bundessteuer getrennt zu behandeln). Entsprechend dem Verfahrensausgang tragen die Beschwerdeführer die Gerichtskosten unter Solidarhaft (Art. 65 BGG; Art. 66 Abs. 1 u. 5 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_68/2014 und 2C_69/2014 werden vereinigt.
2.
Die Beschwerde wird hinsichtlich der direkten Bundessteuer abgewiesen.
3.
Die Beschwerde wird hinsichtlich der Staatssteuer abgewiesen.
4.
Die Gerichtskosten von Fr. 1'500.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
5.
Dieses Urteil wird den Beschwerdeführern, der Steuerverwaltung und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 13. Februar 2014
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Matter