Sachverhalt:
A.
Am 6. Oktober 2011 erliess das KStA/SO gegenüber den Eheleuten A.A._ (1955) und B.A._ (1957)eine Sicherstellungsverfügung. Darin wurden die Steuerpflichtigen aufgefordert, Sicherheit zur Deckung der Steuerausstände von insgesamt Fr. 279'037.15 zu leisten. Die offenen Positionen betrafen zahlreiche Vorperioden (vgl. Urteil 2C_965/2012 / 2C_966/2012 vom 1. Oktober 2012). Der Verfügung war auch zu entnehmen, dass bis zum 9. August 2011 Verzugszinsen für offene direkte Bundessteuern, Staatssteuern des Kantons Solothurn und Hinterziehungsbussen beider Ebenen von insgesamt Fr. 8'137.20 aufgelaufen seien. Die Sicherstellungsverfügung erwuchs unangefochten in Rechtskraft, ebenso wie die Veranlagungsverfügungen zur Steuerperiode 2011, die - wie aus den amtlichen Akten hervorgeht - am 18. März 2013 eröffnet wurden. Am 17./22. Juni 2015 traf das KStA/SO alsdann mit den Steuerpflichtigen eine gemeinsame Vereinbarung zur Regelung der Ausstände aus den Steuerperioden 1995 bis 2015 von nunmehr rund Fr. 371'000.--. Gemäss Ziff. 6 dieser Vereinbarung soll über die aufgelaufenen Verzugszinsen separat abgerechnet werden.
Mit Verfügung vom 14. Februar 2017 trat das KStA/SO auf ein gegen die rechtskräftigen Veranlagungsverfügungen zu den Steuerperioden 2010 bis 2013 gestelltes Revisionsgesuch nicht ein. Die Begründung ging dahin, es wäre den Steuerpflichtigen möglich gewesen, ihre Einwände bereits im ordentlichen Verfahren vorzubringen.
B.
Am 24. Februar 2016 reichten die Steuerpflichtigen die Steuererklärung für die hier interessierende Steuerperiode 2014 ein. Darin beanspruchten sie namentlich einen Schuldzinsenabzug von Fr. 47'020.--. Der Betrag setzte sich zusammen aus Verzugszinsen von Fr. 27'394.-- (Fr. 8'137.-- gemäss Sicherstellungsverfügung vom 6. Oktober 2011 nebst seitherigen Zinsen von Fr. 19'257.--) sowie Schuldzinsen von Fr. 19'626.--. Das KStA/SO liess den Abzug lediglich im Umfang von Fr. 38'883.-- zu. Den Nichtabzug der Verzugszinsen von Fr. 8'137.--erklärte das KStA/SO damit, dass dieses Betreffnis in der Sicherstellungsverfügung vom 6. Oktober 2011 ausgewiesen und dadurch unmittelbar fällig geworden sei. Entsprechend wäre, so das KStA/SO, der Betrag in der Steuererklärung 2011 geltend zu machen gewesen. Auch wenn die Zinsen noch nicht beglichen worden seien, müsse ein Abzug in der Steuerperiode 2014 als aperiodisch und daher unzulässig bezeichnet werden. Mit Einspracheentscheid vom 14. Februar 2017 bestätigte das KStA/SO seine Sichtweise. Es ergänzte, in der Steuerperiode 2014 abzugsfähig seien einzig die unbezahlten Verzugszinsen vom 7. Oktober 2011 bis zum 31. Dezember 2014.
C.
Die Steuerpflichtigen erhoben dagegen Rekurs und Beschwerde an das Steuergericht des Kantons Solothurn. Im Schriftenwechsel beantragte das KStA/SO, dass nur Verzugszinsen im Betrag von Fr. 301.05 zum Abzug zugelassen werden sollen, da die restlichen Verzugszinsen nicht in der Steuerperiode 2014 fällig geworden seien. Zusammen mit den Schuldzinsen von Fr. 19'626.-- könne damit nur noch ein Betreffnis von insgesamt Fr. 19'927.-- berücksichtigt werden. Die Steuerpflichtigen konnten sich zu dieser Sachlage äussern. Mit Entscheid vom 21. August 2017 wies das Steuergericht den Rekurs und die Beschwerde ab. Gleichzeitig änderte es die Veranlagungsverfügung vom 28. November 2016 bzw. den Einspracheentscheid vom 14. Februar 2017 im Sinne einer reformatio in peius dahingehend ab, dass der Abzug für Schuldzinsen auf insgesamt Fr. 19'927.-- herabgesetzt wurde. Zusammenfassend ergeben sich damit folgende Zahlen:
Steuer-erklärung Einsprache-entscheid Entscheid StGer/SO Verzugszinsen bis zum 09.08.2011 8'137 0 0 Verzugszinsen vom 10.08.2011 bis 31.12.2014 19'257 19'257 301 Schuldzinsen 19'626 19'626 19'626 Total 47'020 38'883 19'927
D.
Mit Eingabe vom 26. Oktober 2017 erheben die Steuerpflichtigen beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen, die Veranlagung dürfe "nicht zu [ihrem] Nachteil abgeändert werden" und das Steuergericht soll angewiesen werden, "die Aussage zu revidieren, dass der Revisionsentscheid vom 14. Februar 2017 nicht angefochten wurde".
Der Abteilungspräsident hat den Aktenbeizug angeordnet und von weiteren Instruktionsmassnahmen - namentlich einem Schriftenwechsel gemäss <ref-law> - abgesehen (<ref-law> [SR 173.110]).

Erwägungen:
I. Prozessuales
1.
1.1. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten liegen unter Vorbehalt des Nachfolgenden vor (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90, Art. 100 Abs. 1 BGG in Verbindung mit <ref-law> [SR 642.11] und Art. 73 StHG [SR 642.14]).
1.2. Das Bundesgericht prüft das Bundesrecht von Amtes wegen (<ref-law>; <ref-ruling> E. 4.2 S. 62) und mit uneingeschränkter (voller) Kognition (<ref-law>; <ref-ruling> E. 2 S. 93). Dies trifft auch auf das harmonisierte Steuerrecht von Bund, Kantonen und Gemeinden zu. Vorbehalten bleiben Konstellationen, in welchen das Harmonisierungsrecht den Kantonen und Gemeinden einen gewissen Gestaltungsspielraum (" une certaine marge de manoeuvre ") belässt oder gar keine Anwendung findet (Art. 1 Abs. 3 Satz 1 StHG). In diesem Umfang beschränkt die Kognition sich auf die Verletzung verfassungsmässiger Individualrechte, namentlich des Willkürverbots (<ref-law>; Urteil 2C_68/2018 vom 30. Januar 2019 E. 2, nicht publ. in: <ref-ruling>, aber in: StE 2019 B 22.2 Nr. 34).
1.3. Im Unterschied zum Bundesgesetzesrecht geht das Bundesgericht der angeblichen Verletzung verfassungsmässiger Individualrechte (unter Einschluss der Grundrechte) und des rein kantonalen oder kommunalen Rechts nur nach, falls und soweit eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (<ref-law>; qualifizierte Rüge- und Begründungsobliegenheit; <ref-ruling> E. 5.1 S. 41). Die beschwerdeführende Person hat klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, dass und inwiefern Bundesrecht verletzt worden sein soll. Rein appellatorische Kritik genügt diesen Anforderungen nicht (<ref-ruling> E. 2.1 S. 133).
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>; <ref-ruling> E. 1.5 S. 31). Die vorinstanzlichen Sachverhaltsfeststellungen können von Amtes wegen oder auf Rüge hin berichtigt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich, sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 105 Abs. 2 und Art. 97 Abs. 1 BGG; <ref-ruling> E. 2.2 S. 133). Tatfrage ist auch die Beweiswürdigung. Die Anfechtung der vorinstanzlichen Feststellungen unterliegt der qualifizierten Rüge- und Begründungsobliegenheit (<ref-ruling> E. 4.1 S. 52 f.; vorne E. 1.3).
II. Direkte Bundessteuer
2.
2.1. Der Hauptantrag der Steuerpflichtigen geht dahin, die Veranlagung dürfe "nicht zu unserem Nachteil abgeändert werden". Dies ist dahingehend zu verstehen, dass sie den Schuldzinsenabzug wünschen, wie er in der Veranlagungsverfügung bzw. im Einspracheentscheid anerkannt wurde.
2.2.
2.2.1. Beim Steuergericht des Kantons Solothurn handelt es sich nach dem Recht dieses Kantons um die einzige Steuerjustizbehörde (§ 125 Abs. 1 des Gesetzes [des Kantons Solothurn] vom 1. Dezember 1985 über die Staats- und Gemeindesteuern [StG/SO; BGS 614.11]). Eine kantonale Steuerrekurskommission darf die angefochtene Verfügung sowohl zum Vorteil als auch zum Nachteil der steuerpflichtigen Person abändern ( reformatio in peius vel in melius; <ref-law>; Urteil 2A.408/2002 vom 13. Februar 2004 E. 1.4, in: ASA 75 S. 159, StE 20047 B 96.12 Nr. 14). Wird eine Verschlechterung beabsichtigt, bedingt dies die vorgängige Anhörung der steuerpflichtigen Person (Urteil 2A.286/2004 vom 31. August 2004 E. 2.1; HUGO CASANOVA/CLAUDE-EMMANUEL DUBEY, in: Yves Noël/Florence Aubry Girardin [Hrsg.], Commentaire romand zum LIFD, 2. Aufl. 2017, N. 4 zu <ref-law>). Nach den für das Bundesgericht grundsätzlich verbindlichen Feststellungen der Vorinstanz (<ref-law>; vorne E. 1.4), welche die Steuerpflichtigen nicht bestreiten, hat die Vorinstanz den Steuerpflichtigen das rechtliche Gehör gewährt. Unter formellen Aspekten ist daher nicht zu beanstanden, dass es zur reformatio in peius kam.
2.2.2. Die Steuerpflichtigen verlangen im Nebenantrag, die Vorinstanz sei anzuweisen, "die Aussage zu revidieren, dass der Revisionsentscheid vom 14. Februar 2017 nicht angefochten wurde". Die Vorinstanz spricht im angefochtenen Entscheid vom 21. August 2017 davon, der "Revisionsentscheid (...) vom 14. Februar 2017 (Nichteintretensentscheid) " sei "offenbar nicht angefochten worden".
Aus den vorinstanzlichen Akten, die von Amtes wegen beigezogen werden dürfen (<ref-law>; vorne E. 1.4), ergibt sich hierzu, dass die Steuerpflichtigen in ihrer Duplik vom 8. Juni 2017 an die Vorinstanz festgehalten haben, der Revisionsentscheid vom 14. Februar 2017 bezüglich der Steuerperioden 2010 bis 2013 sei "unangefochten in Rechtskraft" erwachsen. Wohl aus diesem Grund stellten sie im genannten Schreiben vom 8. Juni 2017 abermals den Antrag, die Veranlagungsverfügung zur Steuerperiode 2011 sei zu revidieren, indem der Betrag von Fr. 8'137.20 zum Abzug zugelassen werde.
Abgesehen davon, dass ein derartiges Wiedererwägungsgesuch beim KStA/SO einzureichen gewesen wäre ( iudex a quo), bringen die Steuerpflichtigen nicht vor, am 21. August 2017, dem Datum des angefochtenen Entscheids, habe ein für sie positiver Wiedererwägungsentscheid vorgelegen, den die Vorinstanz zu berücksichtigen gehabt hätte. Damit könnte der Wiedererwägungsentscheid erst nach dem angefochtenen Entscheid ergangen sein. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden, ist im bundesgerichtlichen Verfahren von vornherein unzulässig (echte Noven; <ref-ruling> E. 1.2 S. 22 f.).
2.3.
2.3.1. Streitig und zu prüfen ist, ob die Vorinstanz willkürfrei und bundesrechtskonform zum Ergebnis gelangte, in der streitbetroffenen Steuerperiode 2014 seien Verzugszinsen von (nur) Fr. 301.-- fällig geworden, weshalb nur dieser Betrag zum Abzug zuzulassen sei. Die Steuerpflichtigen machen demgegenüber geltend, die abzugsfähigen Verzugszinsen beliefen sich auf Fr. 27'394.-- bzw. "nach der Korrektur durch die Veranlagungsbehörde noch Fr. 19'257.--".
2.3.2. Das Bundesgericht hat die Abzugsfähigkeit von Verzugszinsen (<ref-law>) in seiner jüngsten Rechtsprechung anhand der Praxis der Kantone Genf und Solothurn geklärt. In grundsätzlicher Hinsicht erkannte es, die an sich bundesrechtliche Rechtsfrage, ob die Verzugszinsen auf dem Nachsteuerbetreffnis bereits in der nachsteuerbetroffenen Ursprungsperiode oder erst in der Steuerperiode, in welcher die Nachsteuer veranlagt wird, abgezogen werden könnten, werde im harmonisierten Steuerrecht von Bund, Kantonen und Gemeinden nicht geregelt. Entsprechend verbleibe den Kantonen eine " marge de manoeuvre ".
2.3.3. Der Kanton Genf stellt auf den Zeitpunkt der Fälligkeit der Verzugszinsen ab. Diese tritt nicht erst mit der Nachsteuerverfügung (<ref-law>) ein, ansonsten die Periode zwischen allgemeinem Fälligkeitstermin und Nachsteuerverfügung, in welcher die Steuern nicht bzw. nicht vollständig bezahlt wurden, ohne Zinsbelastung bliebe. Der Zinsenlauf setzt vielmehr bereits 30 Tage nach dem ursprünglichen allgemeinen Fälligkeitstermin der ordentlichen Veranlagung ein (Art. 161 Abs. 1 in Verbindung mit Art. 163 Abs. 1 und Art. 164 Abs. 1 DBG). Mit Blick darauf weist der Kanton Genf die Verzugszinsen der nachsteuerbetroffenen Ursprungsperiode zu. Die neuere Doktrin zielt in die gleiche Richtung ("im Zeitpunkt der Entstehung und nicht erst nach verbindlicher Festsetzung mittels Verfügung"; SILVIA HUNZIKER/JSABELLE MAYER-KNOBEL, in: Martin Zweifel/Michael Beusch [Hrsg.], Komm. DBG, 3. Aufl. 2017, N. 9 zu <ref-law> S. 784). Damit ist der vom Kanton Genf gewählte Ansatz verfassungsrechtlich jedenfalls nicht unhaltbar (vorne E. 1.2; Urteil 2C_258/2017 vom 2. Juli 2018 E. 6.8, nicht publ. in: <ref-ruling>, aber in: RDAF 2018 II S. 511, StE 2018 B 27.2 Nr. 48, StR 73/2018 S. 820).
2.3.4. Der Kanton Solothurn gelangt in seiner Verwaltungspraxis zum gegenteiligen Schluss und versagt den Steuerpflichtigen den Abzug der nachsteuerbezogenen Verzugszinsen in den ursprünglichen Veranlagungsperioden. Nach solothurnischer Praxis kommt es zur Zuweisung des Verzugszinses an jene Steuerperiode, in welcher der Verzugszins verfügt wird. Der Kanton Solothurn behandelt sowohl die direkte Bundessteuer als auch die Staats- und Gemeindesteuern in diesem Sinn. Vor dem Hintergrund der " marge de manoeuvre " erweist sich auch die vom Kanton Solothurn geübte Praxis als verfassungsrechtlich haltbar, zumal im kantonalen Ausführungsrecht keine ausdrückliche Norm besteht, die einen anderen Schluss nahelegen würde (Urteil 2C_435/2017 vom 18. Februar 2019 E. 2.4, in: ASA 87 S. 585, StR 74/2019 S. 399).
2.3.5. Zusammenfassend ergibt sich, dass Verzugszinsen auf Steuern und Bussen unter die Schuldzinsen fallen und im Rahmen von <ref-law> abzugsfähig sind. Das harmonisierte Steuerrecht von Bund, Kantonen und Gemeinden lässt aber offen, ob die Verzugszinsen auf dem Nachsteuerbetreffnis in der nachsteuerbetroffenen Ursprungsperiode oder erst in der Steuerperiode, in welcher die Nachsteuer veranlagt wird, abzuziehen sind. Den Kantonen verbleibt eine " marge de manoeuvre ". Beide Ansätze sind verfassungsrechtlich nicht zu beanstanden, soweit das kantonale Recht nicht ausdrücklich etwas anderes anordnet.
2.4.
2.4.1. Vorliegend geht es nicht um die Vornahme einer Nachsteuerveranlagung, sondern um die ordentliche Veranlagung zur Steuerperiode 2014. Der Bundesgesetzgeber hat zwar den Beginn des Fristenlaufs und die Höhe des Verzugszinses geregelt (Art. 161 ff. und insb. <ref-law> in Verbindung mit der Verordnung des EFD vom 10. Dezember 1992 über Fälligkeit und Verzinsung der direkten Bundessteuer [SR 642.124]), nicht aber die zeitliche Zuweisung des Zinsbetreffnisses, das sich ergibt, wenn die ordentlich veranlagten Steuern verspätet oder gar nicht bezahlt werden. Auch hierzu verfügen die Kantone mithin über eine " marge de manoeuvre ".
2.4.2. Die Vorinstanz hat für das Bundesgericht verbindlich festgestellt, dass in der Steuerperiode 2014 ein Verzugszins von Fr. 301.05 fällig geworden sei, was von den Beschwerdeführern nicht in Frage gestellt wird. Nach der bundesrechtlich nicht zu beanstandenden Solothurner Praxis (vorne E. 2.3.4) kann daher im Jahre 2014 nur dieser Betrag abgezogen werden.
2.5. Die Beschwerde erweist sich mithin, soweit die direkte Bundessteuer betreffend, als unbegründet; sie ist abzuweisen.
III. Staats- und Gemeindesteuern des Kantons Solothurn
3.
Das Verfahren vor der kantonalen Steuerrekurskommission findet im harmonisierten Steuerrecht von Kantonen und Gemeinden lediglich eine ansatzweise Ausgestaltung (Art. 50 StHG). Im Übrigen ist das kantonale Recht massgebend. Was die Frage der reformatio in peius vel in melius anbelangt, besteht in § 162 Abs. 1 Satz 2 StG/SO eine <ref-law> entsprechende Bestimmung. Es kann damit auf die vorstehenden Ausführungen zur direkten Bundessteuer verwiesen werden. In der Sache selbst findet das "Solothurner Modell" auch auf Ebene der Staats- und Gemeindesteuern Anwendung, nachdem das Harmonisierungsrecht keinerlei Bestimmung bereithält und der Kanton Solothurn entschieden hat, die ihm zustehende " marge de manoeuvre " wie hinsichtlich der direkten Bundessteuer auszuüben. Die Beschwerde ist daher auch kantonalrechtlich unbegründet und abzuweisen. Im Nebenpunkt (Feststellung bzw. Anweisung) ist auf die Sache nicht einzutreten.
IV. Kosten und Entschädigung
4.
Nach dem Unterliegerprinzip (<ref-law>) sind die Kosten des bundesgerichtlichen Verfahrens den Steuerpflichtigen aufzuerlegen. Dem Kanton Solothurn, der in seinem amtlichen Wirkungskreis obsiegt, steht keine Entschädigung zu (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde betreffend die direkte Bundessteuer, Steuerperiode 2014, wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Beschwerde betreffend die Staats- und Gemeindesteuern des Kantons Solothurn, Steuerperiode 2014, wird abgewiesen, soweit darauf einzutreten ist.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 11. Juni 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Kocher