Sachverhalt:
A.
Die Eheleute A.A._ und B.A._ geb. C._ (nachfolgend: die Steuerpflichtigen) sind Eigentümer von selbst bewohntem Wohneigentum in U._/ZH, das sie in ihrem Privatvermögen halten. Im Verlauf der Steuerperiode 2015 nahmen sie eine Umschuldung vor, indem sie das bestehende Darlehensverhältnis mit der bisherigen hypothezierenden Bank auflösten und zu einer anderen Bank wechselten, die nunmehr für die Finanzierung aufkam. Die bisherige Bank stellte ihnen aufgrund der Aufhebung der beiden bis dahin noch nicht ausgelaufenen Festhypotheken eine Vorfälligkeitsentschädigung von Fr. 52'086.-- in Rechnung.
B.
Die Steuerpflichtigen würdigten das Betreffnis als Schuldzinsen und tätigten in ihrer Steuererklärung zur Steuerperiode 2015 einen entsprechenden Abzug. Das Steueramt des Kantons Zürich (KStA/ZH; nachfolgend: die Veranlagungsbehörde) liess den Abzug in den Veranlagungsverfügungen vom 13. Oktober 2017 nicht zu, was es mit Einspracheentscheiden vom 28. März 2018 bestätigte. Hingegen war das Steuerrekursgericht des Kantons Zürich, das die Steuerpflichtigen anriefen, der Meinung, der Abzug sei begründet, weshalb es die Rechtsmittel guthiess (Entscheide vom 26. März 2019).
C.
Dagegen gelangte die Veranlagungsbehörde an das Verwaltungsgericht, dessen 2. Abteilung die Beschwerden mit Entscheid SB.2019.00032 / SB.2019.00033 vom 23. Oktober 2019 guthiess.
Die Begründung ging hauptsächlich dahin, das Bundesgericht habe unlängst zwei amtlich publizierte Entscheide zur Thematik erlassen (<ref-ruling> und <ref-ruling>). Es werde von den Kantonen zwar unterschiedlich beurteilt, ob es sich bei den Erwägungen zum Gläubigerwechsel um einen entschiedenen Streitpunkt oder lediglich um ein obiter dictum gehandelt habe. Von einer bloss beiläufigen Meinungsäusserung ohne entscheidwesentliche Bedeutung könne aber keine Rede sein.
Inhaltlich überzeuge die Differenzierung. Aus Schuldneroptik sei bei der Fortsetzung eines bisherigen Darlehensverhältnisses (mit veränderten Konditionen) von Finanzierungskosten zu sprechen, wenn die Bank eine Vorfälligkeitsentschädigung erhebe. Demgegenüber handle es sich um eine Rücktrittsprämie im Sinne eines Schadenersatzes oder einer Konventionalstrafe, falls das bisherige Vertragsverhältnis aufgegeben und zu einem anderen Finanzinstitut gewechselt werde. Aus Gläubigeroptikergebe sich dieselbe Konsequenz, bestehe der Vorteil im einen Fall doch aus der Vereinnahmung der Vorfälligkeitsentschädigung und der künftigen Zinsen, im andern Fall lediglich aus der Vorfälligkeitsentschädigung. Der streitbetroffene Sachverhalt komme der Aufhebung des Vertragsverhältnisses zwecks unbelasteten Verkaufs nahe, die das Bundesgericht entschieden habe. Bei Gläubigerwechsel stelle eine Vorfälligkeitsentschädigung mithin weder Gewinnungskosten noch Schuldzinsen dar.
Eine neue Rechtsprechung sei grundsätzlich sofort und überall anzuwenden. Die streitbetroffenen Steuerpflichtigen vermöchten sich auf keine individuell-konkrete Vertrauensgrundlage zu berufen. Daran ändere auch die "zögerliche Übernahme der an sich klaren bundesgerichtlichen Vorgaben durch ausserkantonale Steuerverwaltungen" nichts.
D.
Mit Eingabe vom 4. Dezember 2019 erheben die Steuerpflichtigen beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen, der angefochtene Entscheid sei aufzuheben und sie seien gemäss ihrer Steuererklärung bzw. dem Entscheid des Steuerrekursgerichts des Kantons Zürich vom 26. März 2019 zu veranlagen. Die Steuerpflichtigen reichen mit Datum vom 5. Dezember 2019 ein Rektifikat ihrer Beschwerdeschrift vom Vortag ein.
Der Abteilungspräsident als Instruktionsrichter (<ref-law>) hat von Instruktionsmassnahmen - insbesondere einem Schriftenwechsel - abgesehen.

Erwägungen:
I. Formelles
1.
1.1. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten liegen vor (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 und Art. 100 Abs. 1 BGG in Verbindung mit <ref-law> [SR 642.11] und Art. 73 StHG [SR 642.14]).
1.2. Das Bundesgericht prüft das Bundesrecht von Amtes wegen (<ref-law>; <ref-ruling> E. 4.2 S. 255) und mit uneingeschränkter (voller) Kognition (<ref-law>; <ref-ruling> E. 2 S. 241).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>; <ref-ruling> E. 1.2 S. 217).
II. Direkte Bundessteuer
2.
2.1. Streitig und zu prüfen ist die einkommenssteuerrechtliche Behandlung einer Vorfälligkeitsentschädigung, die den Steuerpflichtigen aufgrund dessen belastet wurde, dass sie ein bestehendes Darlehensverhältnis (Festhypothek) vor Ablauf der Vertragsdauer kündigten und alsdann zu einem anderen Finanzinstitut überzugehen wünschten.
2.2.
2.2.1. Die Vorfälligkeitsentschädigungen haben im harmonisierten Steuerrecht keine ausdrückliche Erwähnung gefunden. Mit der Frage, ob und inwiefern von einer Gleichstellung mit den Schuldzinsen gemäss <ref-law> gesprochen werden könne, hat das Bundesgericht sich in zwei Leitentscheiden vom 3. April 2017 auseinandergesetzt (<ref-ruling> E. 5.3 S. 393 f. [Kanton Zürich; Grundstückgewinnsteuer]; <ref-ruling> E. 2.3 und 2.4 S. 399 ff. [Kanton Neuenburg; Einkommenssteuer]). Es unterschied dabei drei Hypothesen, die folgendermassen zusammengefasst werden können (vgl. MARTIN KOCHER/EMMANUELLE JOLIDON/MARCO SAVOLDELLI, Aktuelles aus dem Bundesgericht, in: ASA 85 S. 737 ff., insb. 751) :
Fall Beschreibung Steuerrechtliche Beurteilung 1 Anpassung der Konditionen Das Darlehensverhältnis mit dem bisherigen Darleiher besteht weiter, es kommt aber vor Ablauf der Vertragsdauer zur Änderung des ursprünglichen Darlehensvertrags (bspw. hinsichtlich der Höhe des Darlehens und/oder des Zinssatzes), weshalb der Darleiher eine Vorfälligkeitsentschädigung erhebt Der für die Gleichstellung mit einem Schuldzins erforderliche Konnex zwischen ursprünglicher Darlehensschuld und Vorfälligkeitsentschädigung bleibt unangetastet Daher: Gleichstellung der Vorfälligkeitsentschädigung mit einem Schuldzins 2 Wechsel des Finanzinstituts Der Borger geht einen Darlehensvertrag mit einem anderen Darleiher ein, weshalb das Darlehensverhältnis mit dem bisherigen Darleiher vor Ablauf der Vertragsdauer aufgelöst wird und der Darleiher eine Vorfälligkeitsentschädigung erhebt Der für die Gleichstellung mit einem Schuldzins erforderliche Konnex zwischen ursprünglicher Darlehensschuld und Vorfälligkeitsentschädigung entfällt Daher: Keine Gleichstellung der Vorfälligkeitsentschädigung mit einem Schuldzins 3 Veräusserung des Objekts Das Darlehensverhältnis mit dem bisherigen Darleiher wird zwecks unbelasteten Verkaufs des pfandbelasteten Objekts vor Ablauf der Vertragsdauer aufgelöst, weshalb der Darleiher eine Vorfälligkeitsentschädigung erhebt Der für die Gleichstellung mit einem Schuldzins erforderliche Konnex zwischen ursprünglicher Darlehensschuld und Vorfälligkeitsentschädigung entfällt Daher: Keine Gleichstellung der Vorfälligkeitsentschädigung mit einem Schuldzins, aber Anlagekosten im Rahmen der Grundstückgewinnsteuer
In den beiden Fällen aus dem Jahr 2017 ging es um Vorfälligkeitsentschädigungen, die aufgrund der Veräusserung des pfandbelasteten Objekts erhoben wurde (Hypothese 3). Im vorliegenden Fall ist die Hypothese 2 angesprochen.
2.2.2. Die Vorinstanz geht eingehend der Frage nach, ob das Bundesgericht in den beiden Leitentscheiden auch die Hypothese 2 habe beurteilen wollen. Sie leitet die angebliche Ungewissheit wohl aus <ref-ruling> E. 5.3.2 S. 394 her, der folgendermassen lautet: "Die zweite vom Bundesgericht diskutierte Fallgestaltung betrifft eine neue Hypothek, die bei einem anderen Kreditgläubiger eingegangen wird". Für das Verständnis dieser Wendung ist zu berücksichtigen, dass dem Bundesgericht zwei Fälle vorlagen, die zwar beide die Hypothese 3 zum Inhalt hatten, im einen Fall aber unter dem Aspekt der Anlagekosten und im andern unter dem Gesichtspunkt des Schuldzinsenabzugs zu prüfen waren. Wie den beiden untereinander harmonisierten, teils sprachlich übersetzten und vom selben Spruchkörper gleichentags gefällten Entscheiden, die beide zur amtlichen Publikation führten, entnommen werden kann, ging es dem Bundesgericht darum, die gestellte Frage unter den wichtigsten denkbaren Hypothesen zu prüfen, um ein in sich stimmiges Bild zu schaffen. Entsprechend äusserte das Bundesgericht sich auch zu den Hypothesen 1 und 2, wenngleich diese nicht streitbetroffen waren. Da aber ein Gesamtbild angestrebt wurde, greift es zu kurz, wenn den Erwägungen zu den Hypothesen 1 und 2 der Charakter von blossen obiter dicta beigemessen wird.
2.2.3. Die Hypothese 2, die vorliegend im Brennpunkt steht, erfuhr mithin eine abschliessende Regelung, hielt das Bundesgericht doch fest: "... In einem solchen Fall rechtfertigt sich eine Gleichstellung mit Schuldzinsen nicht, da der Darlehensgeber nicht mehr derselbe ist und deshalb nicht gesagt werden kann, die Entschädigung habe innerhalb des weiter bestehenden, gleichen Schuldverhältnisses primär Entgelt-Charakter" (<ref-ruling> E. 5.3.2 S. 394). Die gegenteilige Ansicht der Steuerpflichtigen erweist sich als grundlos.
Missverständlich kann immerhin erscheinen, dass BGE <ref-ruling> E. 2.3 S. 399 sich auf eine Anmerkung von RAPHAËL GANI zum Urteil CDP.2011.99 des Kantonsgerichts des Kantons Neuenburg vom 17. August 2011 bezieht, die in RDAF 2012 II S. 92 ff. erschienen war. Darin entwarf dieser ein bipolares Modell, das darin besteht, in allen Fällen der Erneuerung eines bestehenden Vertrags zu günstigeren Konditionen, sei es bei der bisherigen oder einer neuen Bank, von abzugsfähigen (Quasi-) Schuldzinsen auszugehen, in den übrigen Fällen, namentlich bei der Veräusserung des Objekts, aber Anlagekosten anzunehmen (a.a.O., S. 98). Das Bundesgericht zitiert dies (BGE <ref-ruling> E. 2.3 S. 400 oben), um später aber die Klammerbemerkung "contrat conclu avec le même créancier à un taux plus avantageux" (Auszeichnung durch das Bundesgericht) anzubringen (BGE <ref-ruling> E. 2.3 S. 400 Mitte). In BGE <ref-ruling> E. 3 S. 401 unten legt das Bundesgericht dann den Fokus auf den Umstand, dass "il ne s'agit pas non plus de la situation dans laquelle un nouveau contrat de prêt est conclu avec un créancier différent " (Auszeichnung wiederum durch das Bundesgericht).
GANI folgend, könnte angenommen werden, die Vorfälligkeitsentschädigung sei mit Schuldzinsen gleichzusetzen, wenn der bestehende Vertrag beim bisherigen Gläubiger aufgelöst und zu günstigeren Konditionen ein Darlehensverhältnis mit einem neuen Gläubiger eingegangen werde (Hypothese 2). Dies entspricht dem Sinn der umfassenden Beurteilung, wie sie das Bundesgericht in den beiden Leitentscheiden getroffen hat, aber nicht. Dem insofern detaillierteren Entscheid zur Grundstückgewinnsteuer lässt sich entnehmen, dass die erste und die zweite Hypothese gerade nicht in derselben Weise zu entscheiden seien (vorne E. 2.2.1).
Die teils in der Doktrin geäusserte inhaltliche Kritik an Hypothese 2 rechtfertigt kein Zurückkommen auf die amtlich publizierte Praxis (siehe etwa RAPHAËL GANI, Analyse de la jurisprudence du Tribunal fédéral en matière de droit fiscal intercantonal à partir de l'année 2017 et du premier semestre 2018, in: ASA 87 S. 356 f.; PETER LOCHER, Kommentar zum DBG, I. Teil, 2. Aufl. 2019, N. 23 zu <ref-law>; so wohl auch SILVIA HUNZIKER/JSABELLE MAYER-KNOBEL, in: Basler Kommentar, DBG, 3. Aufl. 2017, N. 9a zu <ref-law>, welchen die beiden Leitentscheide noch nicht vorlagen).
2.2.4. Nach den Feststellungen der Vorinstanz, welche unbestritten geblieben und daher für das Bundesgericht verbindlich sind (<ref-law>; vorne E. 1.3), nahmen die Steuerpflichtigen eine Umfinanzierung vor, indem sie das Vertragsverhältnis mit der bisherigen Bank auflösten und ein ersetzendes mit der neuen Bank eingingen. Da dies vor Ablauf der vereinbarten Vertragsdauer geschah, erhob die bisherige Bank eine Vorfälligkeitsentschädigung von Fr. 52'086.-- (Sachverhalt, lit. A). Der Vorgang entspricht der vom Bundesgericht nicht nur "diskutierten", sondern abschliessend entschiedenen Hypothese 2, weshalb eine Gleichstellung der Vorfälligkeitsentschädigung mit einem Schuldzins ausser Betracht fällt. Eine Subsumtion unter <ref-law> ist daher ausgeschlossen.
2.2.5. Den vorinstanzlichen Ausführungen zur Wirkung einer höchstrichterlichen Praxisänderung bzw. Praxisfestlegung ist nichts beizufügen: Nicht nur Praxisänderungen, auch erstmalige Praxisfestlegungen wirken sich unmittelbar auf alle noch nicht rechtskräftig veranlagten Fälle aus. Vorbehalten bleibt einzig der Grundsatz des Vertrauensschutzes (Urteil 2C_957/2017 vom 22. Dezember 2017 E. 3.4 mit zahlreichen Hinweisen). Die Vorinstanz hat für das Bundesgericht verbindlich festgestellt, dass keine individuell-konkrete Zusicherung vorliege, welche die generell-abstrakte Praxisfestlegung zurückzudrängen vermöchte. Mithin hat es dabei zu bleiben, dass der streitbetroffene Betrag von Fr. 52'086.-- aufzurechnen ist.
2.3. Die Beschwerde erweist sich mithin als unbegründet. Sie ist abzuweisen.
III. Staats- und Gemeindesteuern des Kantons Zürich
3.
3.1. <ref-law> und Art. 9 Abs. 2 lit. a StHG stimmen inhaltlich überein (Urteil 2C_142/2014 vom 13. April 2015 E. 2.3.1, in: RDAF 2015 II 458, StE 2015 B 27.2 Nr. 43, StR 70/2015 S. 984). In der Folge hat der hier interessierende Kanton Zürich Art. 9 Abs. 2 lit. a StHG harmonisierungskonform in § 31 Abs. 1 lit. a des Steuergesetzes (des Kantons Zürich) vom 8. Juni 1997 (StG/ZH; LS 631.1) überführt. Es kann damit auf das zur direkten Bundessteuer Dargelegte verwiesen werden. Ob und inwieweit die einkommenssteuerlich nicht abzugsfähige Vorfälligkeitsentschädigung in die Anlagekosten des Objekts einfliesst, ist nicht Streitgegenstand und deshalb hier nicht zu erörtern.
3.2. Die Beschwerde ist auch unter diesem Titel unbegründet, weshalb sie abzuweisen ist.
IV. Kosten und Entschädigungen
4.
Nach dem Unterliegerprinzip (<ref-law>) sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern aufzuerlegen, wobei diese die Kosten zu gleichen Teilen und unter solidarischer Haftung tragen (<ref-law>). Dem Kanton Zürich, der in seinem amtlichen Wirkungskreis obsiegt, steht keine Entschädigung zu (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde betreffend die direkte Bundessteuer, Steuerperiode 2015, wird abgewiesen.
2.
Die Beschwerde betreffend die Staats- und Gemeindesteuern des Kantons Zürich, Steuerperiode 2015, wird abgewiesen.
3.
Die Kosten des bundesgerichtlichen Verfahrens von Fr. 2'000.-- werden den Beschwerdeführern auferlegt. Diese tragen ihren Anteil zu gleichen Teilen und unter solidarischer Haftung.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 16. Dezember 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Kocher