Sachverhalt:
A.
Die Erben des X.A._ waren Eigentümer eines Geschäftshauses in Zürich. Nutzniesserin am Nachlass und somit auch am Geschäftshaus war die Witwe des Verstorbenen. Mit am 1. Juni 2012 öffentlich beurkundetem Vertrag wurde die Liegenschaft für 62 Mio Fr. an eine Versicherungsgesellschaft veräussert. Da der Verkauf ohne hypothekarische Belastung erfolgen sollte, wurden die auf dem Grundstück lastenden Hypotheken gegen eine Vorfälligkeitsentschädigung von Fr. 2'415'083.-- vorzeitig aufgelöst. Per Verkaufszeitpunkt verzichtete die Witwe auf ihr Nutzniessungsrecht am Grundstück bzw. am Veräusserungsgewinn.
B.
Die Vorfälligkeitsentschädigung wurde gegenüber der Witwe im Ausmass von Fr. 517'400.-- bei deren Einkommenssteuer zum Abzug zugelassen; bei einem an sich steuerbaren Einkommen von Fr. 517'400.-- wurde sie für ein steuerbares Einkommen von Fr. 0.-- veranlagt.
C.
Am 23. Mai 2013 erhob die Kommission für Grundsteuern der Stadt Zürich von den Erben eine Grundstückgewinnsteuer von Fr. 10'054'854.--. Sie liess die entrichtete Vorfälligkeitsentschädigung bei der Ermittlung des Grundstückgewinns nicht zum Abzug zu. Die dagegen gerichtete Einsprache blieb ebenso erfolglos wie die nachfolgende Beschwerde an das Verwaltungsgericht des Kantons Zürich.
D.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 22. Dezember 2015 beantragen die Erben des X.A._ vor Bundesgericht, das verwaltungsgerichtliche Urteil vom 4. November 2015 aufzuheben. Die Vorfälligkeitsentschädigung sei bei der Bemessung des Grundstückgewinns im Ausmass von Fr. 1'897'683.-- (Fr. 2'415'083.-- minus Fr. 517'400.--) gewinnmindernd zu berücksichtigen.
E.
Die Kommission für die Grundsteuern der Stadt Zürich, das Kantonale Steueramt Zürich und das Verwaltungsgericht des Kantons Zürich schliessen auf Abweisung der Beschwerde (soweit darauf einzutreten sei). Die Eidgenössische Steuerverwaltung hat auf eine Stellungnahme verzichtet.

Erwägungen:
1.
Angefochten ist ein letztinstanzlicher Endentscheid einer oberen kantonalen Gerichtsbehörde in einer Angelegenheit des öffentlichen Rechts, der mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (Art. 82 lit. a, 83, 86 Abs. 1 lit. d und Abs. 2, 90 BGG i.V.m. Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR 642.14]). Die Beschwerdeführer haben vor der Vorinstanz am Verfahren teilgenommen, sind als Abgabepflichtige durch das angefochtene Urteil besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung; sie sind daher zur Beschwerde legitimiert (<ref-law>). Auf ihr fristgerecht (vgl. <ref-law>) eingereichtes Rechtsmittel ist einzutreten.
2.
2.1. Das Harmonisierungsgesetz enthält nur wenige Vorschriften zur Grundstückgewinnsteuer. Vorgeschrieben wird zwar die Erhebung einer solchen Steuer. Das Gesetz bleibt aber hinsichtlich der Ausgestaltung derselben vage und enthält nur wenige Vorgaben an die Kantone (vgl. <ref-ruling> E. 3.2.2 S. 726). Es äussert sich namentlich zur Ermittlung des steuerbaren Gewinns nur in allgemeiner Weise. Entsprechend den ihnen belassenen Freiräumen haben die Kantone die Besteuerung der Grundstückgewinne nicht einheitlich geregelt (vgl. <ref-ruling> E. 3.2 S. 132; Urteil 2C_589/2014 vom 27. März 2015 E. 2.3 in: ASA 84 S. 248).
Das Steuerharmonisierungsgesetz folgt in seinem Grundsatz dem sog. dualistischen System: Von Bundesrechts wegen unterliegen der Grundstückgewinnsteuer Gewinne, die sich bei Veräusserung eines Grundstücks des Privatvermögens oder eines land- oder forstwirtschaftlichen Grundstücks sowie von Anteilen daran ergeben, soweit der Erlös die Anlagekosten (Erwerbspreis oder Ersatzwert zuzüglich Aufwendungen) übersteigt (Art. 12 Abs. 1 StHG). Dagegen werden realisierte Wertzuwachsgewinne auf Grundstücken des Geschäftsvermögens mit der allgemeinen Einkommens- und Gewinnsteuer (als Subjektsteuer) erfasst (vgl. <ref-ruling> E. 2.1 S. 116 f.; <ref-ruling> E. 3.1 S. 148 f.; <ref-ruling> E. 2.1 S. 723 f.; Urteile 2C_747/2010 vom 7. Oktober 2011 E. 5.1 in: ASA 80 S. 609; 2C_624/2007 vom 9. Juni 2008 E. 2.1 in: StR 63/2008 S. 886; zu kantonalen Besonderheiten innerhalb des dualistischen Systems: siehe u.a. das Urteil 2C_834/2012 vom 19. April 2013 E. 5.2 in: StR 68/2013 S. 901).
2.2. Von Harmonisierungsrechts wegen sind die Kantone aber frei, die Grundstückgewinnbesteuerung nach dem monistischen System vorzunehmen. Diese Freiheit der Kantone ist in Art. 12 Abs. 4 StHG ausdrücklich vorgesehen (vgl. u.a. <ref-ruling> E. 2.1 S. 723 f.; Urteil 2C_747/2010 vom 7. Oktober 2011 E. 5.1 in: ASA 80 S. 609). Im monistischen System werden alle Grundstückgewinne mit einer besonderen Wertzuwachs- oder Grundstückgewinnsteuer (als Objektsteuer) erfasst. Es wird nicht unterschieden, ob das veräusserte Grundstück dem Privat- oder dem Geschäftsvermögen des Veräusserers zugehört. Die Kantone können also die Grundstückgewinnsteuer auch auf realisierten Wertzuwachsgewinnen aus der Veräusserung von Grundstücken des Geschäftsvermögens erheben, sofern sie diese Gewinne von der Einkommens- und Gewinnsteuer ausnehmen oder die Grundstückgewinnsteuer auf die Einkommens- und Gewinnsteuer anrechnen (vgl. Art. 12 Abs. 4 StHG; siehe zudem u.a. <ref-ruling> E. 2.1 u. 2.2.1 S. 116 f.; <ref-ruling> E. 3.1 S. 148 f.; <ref-ruling> E. 2.1 S. 723 f.; je m.w.H.)
2.3. Der Kanton Zürich ist dem monistischen System gefolgt: Die Zürcher Grundstückgewinnsteuer ist eine Spezialeinkommenssteuer, die als Objektsteuer getrennt vom übrigen Einkommen erhoben wird (vgl. das Urteil 2C_747/2010 vom 7. Oktober 2011 E. 6.1 in: ASA 80 S. 609).
2.3.1. Die politischen Gemeinden des Kantons Zürich erheben die Grundstückgewinnsteuer auf den Gewinnen, die sich bei Handänderungen an Grundstücken oder Anteilen von solchen ergeben (§ 205 i.V.m. § 216 Abs. 1 des Steuergesetzes [des Kantons Zürich] vom 8. Juni 1997 [StG/ZH; LS 631.1]). Die Steuer fällt gemäss § 216 Abs. 1 StG/ZH ungeachtet dessen an, ob die Veräusserung im Privat- oder Geschäftsvermögen erfolgt (vgl. <ref-ruling> E. 2.2.1 S. 117; <ref-ruling> E. 3.5 S. 380).
Steuerpflichtig ist der Veräusserer (§ 217 StG/ZH). Als Grundstückgewinn gilt nach § 219 des Zürcher Steuergesetzes vom 8. Juni 1997 (StG ZH; OS 631.1) der Betrag, um den der Erlös die Anlagekosten übersteigt (Abs. 1). Massgebend für die Berechnung des Gewinns und der Besitzesdauer ist die letzte Handänderung (§ 219 Abs. 2 StG/ZH) (vgl. auch die Urteile 2P.439/1997 vom 27. Oktober 1999 E. 3c in: Pra 2000 Nr. 25 S. 143; 2P.75/2003 vom 1. September 2003 E. 2 in: StE 2004 B 44.13.7 Nr. 18).
Der Erwerbspreis umfasst den Kaufpreis unter Einschluss aller weiteren Leistungen des Erwerbers (§ 220 Abs. 1). Gemäss § 221 Abs. 1 sind als Aufwendungen anrechenbar: a. Aufwendungen für Bauten, Umbauten, Meliorationen und andere dauernde Verbesserungen des Grundstücks, nach Abzug allfälliger Versicherungsleistungen und Beiträge von Bund, Kanton oder Gemeinde; b. Grundeigentümerbeiträge, wie Strassen-, Trottoir-, Dolen-, Werkleitungs- oder Perimeterbeiträge; c. übliche Mäklerprovisionen und Insertionskosten für Erwerb und Veräusserung; d. mit der Handänderung verbundene Abgaben; e. Baukreditzinsen bei Liegenschaften im Geschäftsvermögen. Diese Aufzählung ist abschliessend gehalten (vgl. das Urteil 2C_817/2014 vom 25. August 2015 E. 2.2.3 in: ASA 84 S. 331). Nach Massgabe von § 221 Abs. 2 StG/ZH können natürliche und juristische Personen, welche mit Liegenschaften handeln, weitere in Abs. 1 nicht aufgezählte, aber "mit der Liegenschaft zusammenhängende Aufwendungen geltend machen, soweit sie auf deren Berücksichtigung bei der Einkommens- oder Gewinnsteuer ausdrücklich verzichtet haben" (vgl. das Urteil 2P.75/2003 vom 1. September 2003 E. 2 in: StE 2004 B 44.13.7 Nr. 18).
2.3.2. In § 216 ff. StG/ZH ist die Loslösung der Grundstückgewinnsteuer aus der allgemeinen Einkommenssteuer weitgehend oder vollständig durchgeführt (vgl. das Urteil 2C_747/2010 vom 7. Oktober 2011 E. 6.1 in: ASA 80 S. 609), indem der realisierte Wertzuwachs in verobjektivierter oder "formalisierter" Weise als Unterschiedsbetrag zwischen den Anlagekosten und dem Erlös des veräusserten Grundstücks ermittelt wird (vgl. das Urteil 2P.138/1998 vom 18. Januar 2000 E. 2a in: StE 2002 B 44.11 Nr. 11). Die Ausgestaltung als Objektsteuer hat zur Folge, dass es auf die Person des Steuerpflichtigen nicht ankommt (vgl. das Urteil 2C_747/2010 vom 7. Oktober 2011 E. 6.1 in: ASA 80 S. 609). Für die Gewinnermittlung und die Steuerberechnung wird stattdessen grundsätzlich nur auf das veräusserte Grundstück sowie die damit zusammenhängenden Kosten und Aufwendungen abgestellt (vgl. das Urteil 2C_747/2010 vom 7. Oktober 2011 E. 6.1 in: ASA 80 S. 609). Massgeblich ist allein der auf der Liegenschaft erzielte Mehrwert, ohne Rücksicht auf die gesamte wirtschaftliche Leistungsfähigkeit des Pflichtigen (vgl. das Urteil 2C_747/2010 vom 7. Oktober 2011 E. 5.2 in: ASA 80 S. 609 m.w.H.).
3.
3.1. Der Bundesgesetzgeber hat die prägenden Elemente des Tatbestandes von Art. 12 StHG als unbestimmte Rechtsbegriffe ausgestaltet. Die Bestimmung führt die Begriffe "Erlös", "Anlagekosten" und "Ersatzwert" nicht näher aus. Insofern überlässt der Bund den Kantonen bei der Umschreibung des steuerbaren Gewinns einen, wenn auch eingeschränkten, Spielraum (vgl. u.a. <ref-ruling> E. 2.1 S. 723 f.; Urteile 2C_817/2014 vom 25. August 2015 E. 2.2.1 in: ASA 84 S. 331; 2C_589/2014 vom 27. März 2015 E. 2.3 in: ASA 84 S. 248; 2C_674/2014 vom 11. Februar 2015 E. 3.2 in: ASA 83 S. 614; siehe weiter die Urteile 2C_77/2013 vom 6. Mai 2013 E. 5.1 in: StE 2013 B 44.12.3 Nr. 7 u. 2C_308/2009 vom 14. Oktober 2009 E. 2.4 in: ASA 78 S. 690).
3.2. Art. 12 StHG führt insbesondere nicht aus, welche Kosten beim Grundstückgewinn als Aufwendungen anrechenbar sind. So können die Kantone innerhalb der ihnen gesetzten Grenzen selber bestimmen, welche Auslagen sie anrechnen lassen und welche Kosten sie als mit dem An- und Verkauf der Liegenschaft zusammenhängend erachten wollen. Einzelne Kantone rechnen sämtliche mit dem Erwerb oder der Veräusserung des Grundstücks untrennbar verbundenen Auslagen als "Aufwendungen" an (z.B. § 104 Abs. 1 lit. c StG AG [SAR 651.100]; § 78 Abs. 1 lit. c StG BL [SGS 331]; Art. 142 Abs. 1 StG BE [BSG 661.11]; Art. 137 Abs. 1 lit. f StG SG [sGS 811.1]; Art. 134 Abs. 1 LT Tl [RL 10.2.1.1] sowie §§ 13 und 19 des luzernischen Gesetzes vom 31. Oktober 1961 über die Grundstückgewinnsteuer [SRL 647]; vgl. das Urteil 2C_119/2009 vom 29. Mai 2009 E. 2.1 in: StR 64/2009 S. 655).
Dagegen sind andere Kantone diesbezüglich restriktiver. So rechnet beispielsweise der Kanton Zürich nur gerade "übliche Mäklerprovisionen und Insertionskosten für Erwerb und Veräusserung" zu den "Aufwendungen", nicht aber weitere erwerbs- bzw. veräusserungskausale Kosten wie beispielsweise jene des Notars und der Verschreibung (vgl. oben E. 2.3.1; siehe zu den Mäklerkosten die Urteile 2C_1026/2012 vom 1. April 2013 E. 2.1 u. 4.3 in: StE 2013 B 44.13.5 Nr. 12; 2C_119/2009 vom 29. Mai 2009 E. 2.2, 2.3 u. 3.2.1 in: StR 64/2009 S. 655).
3.3. In Bezug auf solche kantonale Besonderheiten der Grundstückgewinnsteuer, die in den dem kantonalen Gesetzgeber verbleibenden Gestaltungsraum fallen (vgl. <ref-ruling> E. 2.2 S. 724; <ref-ruling> E. 3.1 S. 205 f.; je mit Hinweisen), stellt sich das jeweilige Grundstückgewinnsteuerrecht als kantonales Recht dar (vgl. <ref-ruling> E. 2.1 S. 723 f.; Urteile 2C_705/2011 vom 26. April 2012 E. 1.5.3 in: StE 2012 B 44.12.3 Nr. 6; 2C_119/2009 vom 29. Mai 2009 E. 2.1 in: StE 2009 B 44.13.5 Nr. 9) und überprüft das Bundesgericht die Rechtsanwendung nur auf Willkür (vgl. u.a. <ref-ruling> E. 3.2 S. 132; <ref-ruling> E. 2.2 S. 724; <ref-ruling> E. 3.1 S. 205 f.; Urteil 2C_817/2014 vom 25. August 2015 E. 2.2.1 in: ASA 84 S. 331, je m.w.H.).
4.
4.1. Der den Kantonen bei der Umschreibung des Steuerobjekts und dessen Bemessung zustehende Freiraum ist indessen nur ein beschränkter (vgl. u.a. <ref-ruling> E. 2.1 S. 723 f.; Urteil 2C_77/2013 vom 6. Mai 2013 E. 5.1 in: StE 2013 B 44.12.3 Nr. 7). Insbesondere kann die Auslegung der Rechtsbegriffe "Erlös", "Anlagekosten" und "Ersatzwert" im Rahmen von Art. 12 Abs. 1 StHG nicht harmonisierungsautonom erfolgen. Soweit bundessteuergesetzliche und harmonisierungsrechtliche Regelung dem Sinn nach übereinstimmen, ist aus Gründen der vertikalen Steuerharmonisierung eine identische Auslegung geboten (vgl. <ref-ruling> E. 3.2 S. 116; Urteile 2C_272/2011 vom 5. Dezember 2011 E. 1.3; 2C_705/2011 vom 26. April 2012 E. 4.3.2 in: ASA 82 S. 163).
4.1.1. Die Auslegung wird schon dadurch vorbestimmt, dass Grundstückgewinnsteuer und Einkommens- oder Gewinnsteuer namentlich im monistischen System eng miteinander verbunden sind (vgl. oben E. 2.3.2). Daher muss der Teil des Gewinns aus einer Geschäftsliegenschaft, der der Einkommenssteuer unterliegt, und derjenige Teil, welcher der Grundstückgewinnsteuer untersteht, genau abgegrenzt werden (vgl. <ref-ruling> E. 2.2 S. 724; zum Zusammenhang mit dem allgemeinen System der Gesamtreineinkommensbesteuerung siehe die Urteile 2C_77/2013 vom 6. Mai 2013 E. 5.2 in: StE 2013 B 44.12.3 Nr. 7; 2C_674/2014 vom 11. Februar 2015 E. 3.1 in: ASA 83 S. 614; 2C_906/2010 vom 31. Mai 2012 E. 7.4 in: RDAF 2012 II S. 342; zum Bezug - auf der horizontalen Ebene - zum Gewinnbegriff im Geschäftsvermögen von Art. 8 Abs. 1 StHG: Urteil 2C_705/2011 vom 26. April 2012 E. 4.3.2 in: ASA 82 S. 163).
4.1.2. Ebenso ist eine doppelte Berücksichtigung der Aufwendungen und Kosten (bei der Einkommenssteuer wie bei der Grundstückgewinnsteuer) ausgeschlossen (vgl. die Urteile 2C_674/2014 vom 11. Februar 2015 E. 3.3 in: ASA 83 S. 614; 2C_647/2013 vom 1. Mai 2014 E. 2.2; 2C_622/2011 vom 29. Februar 2012 E. 4). Diejenigen Auslagen, die schon im Rahmen der einen Steuer berücksichtigt worden sind, können nicht noch einmal im Rahmen der anderen abgezogen werden (vgl. das Urteil 2C_674/2014 vom 11. Februar 2015 E. 3.4 in: ASA 83 S. 614).
4.1.3. Die Beachtung der Vorgaben der Steuerharmonisierung prüft das Bundesgericht mit voller Kognition. Frei zu überprüfen ist so, ob die kantonale Lösung die Anwendung des StHG in seiner horizontalen oder vertikalen Harmonisierungsfunktion beeinträchtigt (vgl. die Urteile 2C_337/2012 vom 19. Dezember 2012 E. 1.4, in: StR 68/2013 S. 368; 2C_119/2009 vom 29. Mai 2009 E. 2.2, in: StR 64/2009 S. 655). Das gilt insbesondere für die in Art. 12 StHG erwähnten "Aufwendungen" bzw. "Anlagekosten" (vgl. Urteil 2C_589/2014 vom 27. März 2015 E. 3.2, in: StR 70/2015 S. 311), vor allem in Abgrenzung zu den bei der Einkommenssteuer abziehbaren werterhaltenden Unterhaltskosten (vgl. die Urteile 2C_817/2014 vom 25. August 2015 E. 2.2.1 in: ASA 84 S. 331; 2C_674/2014 vom 11. Februar 2015 E. 3.3 in: ASA 83 S. 614).
4.2. Entsprechend den horizontalen und vertikalen, zwingenden Vorgaben des Harmonisierungsgesetzes hat die bundesgerichtliche Praxis die hier massgeblichen Begriffe in mehrfacher Hinsicht präzisiert:
4.2.1. Der Begriff der "Anlagekosten" gemäss Art 12 Abs. 1 StHG bzw. § 219 Abs. 1 StG/ZH bezieht sich auf wertvermehrende Aufwendungen. Diese sind namentlich von den Unterhaltskosten abzugrenzen, die dazu dienen, die Liegenschaft in ihrem Wert zu erhalten, und bei der Einkommenssteuer in Abzug gebracht werden können (Art. 9 Abs. 3 StHG; vgl. das Urteil 2C_674/2014 vom 11. Februar 2015 E. 3.3 u. 3.4 in: ASA 83 S. 614; zum Spezialfall von Aufwendungen zum Zweck des Energiesparens oder des Umweltschutzes: Urteil 2C_674/2014 vom 11. Februar 2015 E. 3.3 in: ASA 83 S. 614; zur Frage von sog. aufgeschobenem Unterhalt bei einer vom Voreigentümer vernachlässigten Liegenschaft: Urteil 2C_398/2009 vom 16. November 2009 E. 2.4; zur Beweislast dafür, wertvermehrende Aufwendungen vorgenommen zu haben: Urteil 2C_288/2007 vom 19. Dezember 2007 E. 5 in: RtiD 2008 I S. 971).
Nicht um "Anlagekosten" gemäss Art. 12 Abs. 1 StHG geht es somit in solchen Fällen, in denen der Veräusserer wohl Kosten getragen hat, diese aber nicht in Zusammenhang mit einer Wertvermehrung stehen, z.B. bei Zinsen für einen reinen Landerwerbskredit, wenn die spätere Verkäuferin zwischen Erwerb und Veräusserung der Liegenschaft keine Arbeiten unternommen, nichts zu einer dauerhaften Werterhöhung beigetragen und keinen aktivierbaren Mehrwert geschaffen hat (vgl. das Urteil 2C_924/2011 vom 14. November 2011 E. 2.2).
4.2.2. Damit Anlagekosten bei der Grundstückgewinnsteuer als gewinnmindernd geltend gemacht werden können, ist darüber hinaus erforderlich, dass es sich um solche wertvermehrende Kosten handelt, welche der Veräusserer effektiv aufgewendet hat (vgl. u.a. das Urteil 2C_77/2013 vom 6. Mai 2013 E. 4.2 in: StE 2013 B 44.12.3 Nr. 7). Damit steht im Einklang, dass eine wertvermehrende Aufwendung nach zürcherischer Praxis (nur) im Umfang des tatsächlich bezahlten Betrags und nicht des objektiv geschaffenen Werts anzurechnen ist ("Prinzip der effektiven Kostenanrechnung"; vgl. das Urteil 2C_817/2014 vom 25. August 2015 E. 2.2.3 in: ASA 84 S. 331). Aus demselben Grund ist der Abzug von Eigenkapitalzinsen bei der Grundstückgewinnberechnung verweigert worden, weil es sich dabei (anders als z.B. bei Baukreditzinsen für eine fremdfinanzierte Überbauung eines Grundstücks) um keinen effektiv getätigten (Zins-) Aufwand handelt (vgl. das Urteil 2P.38/1996 vom 10. Juni 1998 E. 2g in: Pra 1998 Nr. 147 S. 791; siehe dagegen zur möglichen Anrechnung von wertvermehrenden Eigenleistungen im Zürcher Recht der Grundstückgewinnsteuer, in der Höhe des mutmasslichen Drittpreises gemäss dem sog. "Marktwertprinzip"; vgl. dazu das Urteil 2C_817/2014 vom 25. August 2015 E. 2.2.3 in: ASA 84 S. 331).
Ebenfalls nicht um gewinnmindernde Anlagekosten handelt es sich dort, wo die Wertvermehrung auf andere Gründe zurückzuführen ist als auf die Tätigkeit des Veräusserers. Das betrifft z.B. Formen des "unverdienten" - insbesondere durch infrastrukturelle und planerische Massnahmen des Gemeinwesens bewirkten - Wertzuwachses (vgl. das Urteil 2C_624/2007 vom 9. Juni 2008 E. 2.1 in: StR 63/2008 S. 886; allgemein zu Zuwachsgewinnen ohne Zutun des Eigentümers: vgl. das Urteil 2C_780/2014 vom 29. April 2014 E. 3.2.1).
4.2.3. Wenn es sich in Art. 12 Abs. 1 StHG bzw. § 219 Abs. 1 StG/ZH um solche wertvermehrende Aufwendungen handelt, die der Veräusserer effektiv geleistet hat, dann umfasst das aber auch Aufwendungen des Grundeigentümers für rechtliche Verbesserungen des Grundstückes. Die Wertvermehrung kann nicht nur körperlicher, sondern auch rechtlicher Natur sein, indem insbesondere ein beschränktes dingliches Recht zugunsten des Grundstücks begründet oder eine solche Belastung abgelöst wird. Der Wegfall obligatorischer Rechte kann ebenfalls eine Wertvermehrung des Grundstücks bewirken, so z.B. die Entschädigung für den Verzicht auf die Ausübung eines Kaufrechts (vgl. das Urteil 2C_44/2008 vom 28. Juli 2008 E. 2.1 u. 2.2 in: RDAF 2008 II S. 497 m.w.H., insbesondere auf die Lehre).
4.3. Neben dem Erfordernis effektiver Kosten und einer durch den Veräusserer selber geschaffenen Wertvermehrung wird weiter darauf abgestellt, ob die als gewinnmindernd geltend gemachten Kosten in Zusammenhang mit dem veräusserten Grundstück stehen und zudem im Hinblick auf die spätere Veräusserung der Liegenschaft getätigt worden sind.
4.3.1. Dieses Erfordernis steht in Zusammenhang mit dem im monistischen System wesentlichen Grundsatz der gesonderten, spezifischen Gewinnermittlung und der konkret objektbezogenen Kostenanrechnung (vgl. dazu schon oben E. 2.3.2 u. 2.4; siehe zudem zum sog. Kongruenzprinzip u.a. die Urteile 2C_817/2014 vom 25. August 2015 E. 2.2.2 in: ASA 84 S. 331 u. 2C_674/2014 vom 11. Februar 2015 E. 3.2 in: ASA 83 S. 614).
4.3.2. Dementsprechend beziehen sich "Anlagekosten" gemäss Art. 12 Abs. 1 StHG bzw. § 219 Abs. 1 StG/ZH notwendigerweise auf solche Aufwendungen, die mit dem Erwerb und insbesondere der Veräusserung des massgeblichen Grundstücks untrennbar verbunden sind (vgl. dazu schon oben E. 3.2). Eine solche besondere Verbundenheit mit der Veräusserung ist verneint worden in Bezug auf die für den Rückzug einer Baueinsprache bezahlte Entschädigung (vgl. <ref-ruling> E. 2.5 S. 368 f.). Bejaht worden ist ein Zusammenhang, wohl nicht mit der Veräusserung, aber mit dem Erwerb der Liegenschaft, im Fall der Rückzahlung eines Grundverbilligungsvorschusses (vgl. das Urteil 2C_44/2008 vom 28. Juli 2008 E. 3.2 in: RDAF 2008 II S. 497). Im Rahmen der Zürcher Regelung der Grundstückgewinnsteuer erachtet § 221 Abs. 1 StG/ZH den Zusammenhang für die in diesem Absatz genannten Einzelbeispiele als gegeben.
4.4. Unabhängig von der Aufzählung in § 221 Abs. 1 StG/ZH sind "Anlagekosten" gemäss Art. 12 Abs. 1 StHG bzw. § 219 Abs. 1 StG/ZH somit immer dann anzunehmen, wenn der Veräusserer selber wertvermehrende Aufwendungen getätigt hat (vgl. oben E. 4.2), die mit der Veräusserung des massgeblichen Grundstücks untrennbar verbunden sind (vgl. oben E. 4.3).
4.4.1. Das ergibt sich nicht nur aus den vertikalen und horizontalen, zwingenden Vorgaben des Harmonisierungsgesetzes, sondern auch aus dem Grundsatz der Besteuerung nach der wirtschaftlichen Leistungsfähigkeit gemäss <ref-law> (vgl. zu diesem Grundsatz allgemein: <ref-ruling>; E. 2.2 S. 367; <ref-ruling> E. 2.1 S. 148 f.; Urteile 2C_77/2013 vom 6. Mai 2013 E. 4.1 in: StE 2013 B 44.12.3 Nr. 7; 2C_147/2008 vom 29. Juli 2008 E. 3 in: StR 64/2009 S. 121), so wie dieser Grundsatz in Zusammenhang mit Art. 12 StHG zu verstehen ist (vgl. dazu u.a. <ref-ruling> E. 3.2.2 S. 736).
4.4.2. Die Leistungsfähigkeit ist zwar namentlich im monistischen System sowohl bei der Gewinnermittlung als auch bei der Kostenanrechnung eine spezifisch objektbezogene. Deshalb können zwar nur diejenigen, aber gleichzeitig alle diejenigen, Aufwendungen als gewinnmindernd geltend gemacht werden, welche die genannten zwei Voraussetzungen kumulativ erfüllen, nämlich der effektiven Wertvermehrung durch den Veräusserer (vgl. oben E. 4.2) und des erforderlichen Zusammenhangs mit (dem Erwerb bzw.) der Veräusserung des massgeblichen Grundstücks (vgl. oben E. 4.3).
5.
5.1. In Anwendung von Art. 12 StHG und § 216 ff. StG/ZH hat das Verwaltungsgericht erwogen, dass die Vorfälligkeitsentschädigung nicht sowohl bei der Einkommens- als auch bei der Grundstückgewinnsteuer zum Abzug zugelassen werden könne. Von ihrer Rechtsnatur her sei eine solche Entschädigung zwar nicht vollumfänglich der Kategorie der Schuldzinsen zuzurechnen, hier rechtfertige sich indessen eine Gleichbehandlung. Deshalb hätte die entrichtete Entschädigung an sich gesamthaft (d.h. im Betrag von Fr. 2'415'083.--) bei der Einkommenssteuer abgezogen werden können; im konkreten Fall sei aber nur eine Berücksichtigung im Umfang des steuerbaren Einkommens der Witwe (Fr. 517'400.--) möglich gewesen. Unter dem Gesichtspunkt der Grundstückgewinnsteuer lasse sich die Entschädigung nicht als gewinnmindernd geltend machen, weil sie unter keine der Einzelkategorien der abschliessenden Aufzählung von § 221 Abs. 1 StG/ZH falle. Ebenso wenig rechtfertige es sich, die Entschädigung als eine negative "zusätzliche Leistung" des Erwerbers (im Sinne von § 222 StG/ZH) zu verstehen, welche zu einem Abzug Anlass geben könnte.
5.2. An der Beurteilung der Vorinstanz ist sicher zutreffend, dass ein Abzug nicht sowohl bei der Einkommens- als auch bei der Grundstückgewinnsteuer möglich ist. Dieser Grundsatz stimmt mit dem Harmonisierungsgesetz und der bundesgerichtlichen Praxis überein (vgl. dazu oben E. 4.1.2; siehe jedoch unten E. 5.3.3 u. 5.4).
5.3. Im Weiteren könnte sich die Auffassung der Vorinstanz als richtig erweisen, wenn hier eine andere Variante der Vorfälligkeitsentschädigung zu prüfen wäre. Zwischen den verschiedenen Varianten unterscheidet <ref-ruling>. Dort haben Grundstückeigentümer für zwei Hypotheken Vorfälligkeitsentschädigungen zu entrichten und beantragen erfolglos, diese Entschädigungen als Schuldzinsen im Sinne von <ref-law> von ihrem steuerbaren Einkommen abziehen zu können. Im Urteil stellt das Bundesgericht die zur allfälligen Gleichstellung zwischen Vorfälligkeitsentschädigungen und Schuldzinsen in einzelnen Kantonen jeweils befolgten Praktiken dar (vgl. dort E. 2.2) und befasst sich dann mit den bestehenden Lehrmeinungen (E. 2.3), bevor es zwischen drei Hypothesen unterscheidet:
5.3.1. Die Gleichsetzung ist in einer ersten Hypothese gerechtfertigt, wenn sich nämlich die Frage im Rahmen eines weiter bestehenden und nur hinsichtlich der Konditionen (insb. Zinssatz, ev. auch Kredithöhe) umgestalteten Darlehensverhältnisses stellt (z.B. bei Ablösung der Festhypothek und Umwandlung in ein anderes Modell bei demselben Kreditgeber; vgl. E. 2.3 des Urteils). Bei einer derartigen blossen Umschuldung wird das vorherige Schuldverhältnis nicht beendet oder abgelöst, sondern nur verändert. Dann ist nicht die einzelne Hypothek massgeblich, vielmehr ist das Kreditverhältnis als Ganzes ins Auge zu fassen. Handelt es sich weiterhin um den gleichen Gläubiger, bei lediglich angepassten Vertragsmodalitäten, so ist die für eine Qualifikation als Schuldzins notwendige Verbindung zwischen der Darlehenshingabe und der dafür ausgerichteten Vergütung auch in Bezug auf eine allfällige Vorfälligkeitsleistung gegeben. Wie ein Kreditzins ist die Entschädigung (primär) als Entgelt und nicht als Schadenersatz oder Konventionalstrafe einzustufen. Sie kann also vom steuerbaren Einkommen abgezogen werden.
5.3.2. Die zweite vom Bundesgericht diskutierte Fallgestaltung betrifft eine neue Hypothek, die bei einem anderen Kreditgläubiger eingegangen wird (vgl. E. 2.3 und 3 des zitierten Urteils). In einem solchen Fall rechtfertigt sich eine Gleichstellung mit Schuldzinsen nicht, da der Darlehensgeber nicht mehr derselbe ist und deshalb nicht gesagt werden kann, die Entschädigung habe innerhalb des weiter bestehenden, gleichen Schuldverhältnisses primär Entgelt-Charakter.
5.3.3. Die dritte - und im besagten Fall zu beurteilende - Hypothese betrifft Vorfälligkeitsentschädigungen, die Grundstückeigentümer im Hinblick auf den Verkauf ihrer Liegenschaft zu entrichten haben, wenn das Darlehensverhältnis nicht - mit dem gleichen Kreditgeber - bloss umgestaltet, sondern beendet wird (vgl. dort E. 2.4 u. 3). Das Urteil hält dazu fest, dass eine Gleichstellung mit Schuldzinsen dann - wie in der gerade erwähnten zweiten Hypothese (vgl. oben E. 5.3.2) - ebenfalls nicht in Frage kommt und somit auch kein Abzug bei der Einkommenssteuer, allenfalls eine Berücksichtigung bei der Grundstückgewinnsteuer, die aber nicht Verfahrensgegenstand ist.
5.4. Die im besagten Urteil vorgenommene Unterscheidung zwischen den drei Hypothesen ist auch der hier massgeblichen Beurteilung zugrunde zu legen. Wie dort ist vorliegend die dritte Hypothese gegeben, allerdings unter umgekehrten Voraussetzungen: Es stellt sich die Frage, ob die geleistete Vorfälligkeitsentschädigung bei der Grundstückgewinnsteuer gewinnmindernd berücksichtigt werden kann. Nicht Gegenstand des Verfahrens bildet dagegen ein Abzug bei der Einkommenssteuer. Wenn ein solcher gegenüber der Witwe gewährt worden ist, so ist darauf in der Folge nicht mehr einzugehen.
5.5. Hier ist also - wie gerade erwähnt (vgl. oben E. 5.4) - eine Vorfälligkeitsentschädigung zu beurteilen, die im Rahmen der unmittelbar vor dem Verkauf der Liegenschaft erfolgten endgültigen und vollumfänglichen Auflösung der zuvor bestehenden Festhypothek zu bezahlen war, ohne dass vom bisherigen Schuldner - beim gleichen oder einem anderen Darlehensgeber - ein neues Schuldverhältnis eingegangen worden wäre. Diese Ausgestaltung der Entschädigung erfüllt - zumindest in deren konkret zu prüfender Ausgestaltung - kumulativ die oben (vgl. E. 4.2 u. 4.3) genannten Voraussetzungen für die Annahme von "Anlagekosten" gemäss Art. 12 Abs. 1 StHG bzw. § 219 Abs. 1 StG/ZH.
5.5.1. Die vollumfängliche Auflösung der Festhypothek geschah unbestrittenermassen im Hinblick auf die geplante Veräusserung der Liegenschaft. Die dabei entrichtete Vorfälligkeitsentschädigung war somit mit dieser Veräusserung untrennbar verbunden (vgl. oben E. 4.3).
5.5.2. Zudem geht es um effektive und durch die Veräusserer getätigte Aufwendungen (vgl. oben E. 4.2.2). Die Beschwerdeführer haben überzeugend dargetan, dass die Erben gesamthaft - und nicht nur die Witwe - die Vorfälligkeitsentschädigung zu entrichten hatten. Unter Berücksichtigung des schon gegenüber der Witwe bei der Einkommenssteuer zugelassenen Abzugs beantragen sie eine gewinnmindernde Anrechnung ihrer Aufwendungen im Umfang von Fr. 1'897'683.-- (Fr. 2'415'083.-- minus Fr. 517'400.--).
5.5.3. Im Übrigen sind Aufwendungen zu beurteilen, die wertvermehrenden Charakter hatten. Nur der Wegfall der Hypotheken ermöglichte es, die Liegenschaft zum vereinbarten Preis zu verkaufen. Insofern ist die Situation mit den oben in E. 4.2.3 erwähnten Fällen vergleichbar, in denen es ebenfalls nicht um eine körperliche Wertvermehrung geht, sondern um rechtliche Verbesserungen, insbesondere bei der Aufhebung schuldrechtlicher Verpflichtungen und Belastungen.
5.6. Gegen die gewinnmindernde Berücksichtigung der massgeblichen Vorfälligkeitsentschädigung bei der Grundstückgewinnsteuer können namentlich die folgenden Argumente nicht angeführt werden:
5.6.1. Nicht entscheidend ist, dass die zu beurteilende Entschädigung sich keiner der in § 221 Abs. 1 StG/ZH abschliessend aufgezählten Einzelkategorien von zum Abzug berechtigenden Aufwendungen zurechnen lässt. Wie bereits dargelegt (vgl. oben, namentlich E. 4.3.2 u. 4.4), stützt sich die erlösmindernde Berücksichtigung nicht auf § 221 StG/ZH, sondern auf eine mit <ref-law> und den zwingenden harmonisierungsrechtlichen Vorgaben des Steuerharmonisierungsgesetzes übereinstimmende Auslegung von Art. 12 Abs. 1 StHG und § 219 Abs. 1 StG/ZH. Dann ist aber auch nicht mehr zu prüfen, ob eine Berücksichtigung allenfalls in Zusammenhang mit dem Begriff der "zusätzlichen Leistung" des Erwerbers gemäss § 222 StG/ZH in Betracht fallen könnte.
5.6.2. Es kann ebenfalls nicht argumentiert werden, dass die hier zu beurteilende Frage in den freien Gestaltungsraum falle, der den Kantonen im Bereich der Grundstückgewinnsteuer namentlich bei der Gewinnermittlung und Kostenanrechnung verbleibe, so dass das angefochtene Urteil nur unter Willkürgesichtspunkten zu überprüfen sei (vgl. oben E. 3.3). Stattdessen betrifft der vorliegende Fall gerade jenen Bereich, in dem der kantonalen Gestaltungs- und Auslegungsfreiheit aufgrund zwingender verfassungsrechtlicher sowie harmonisierungsgesetzlicher Vorgaben Grenzen gesetzt sind (vgl. oben E. 4.1.3, 4.2 einleitend u. 4.3.2).
6.
Nach dem Gesagten ist die Beschwerde gutzuheissen, das angefochtene Urteil aufzuheben und die Sache im Sinne der vorstehenden Erwägungen an die Kommission für die Grundsteuern der Stadt Zürich zurückzuweisen.
Bei diesem Ausgang des Verfahrens wird die Stadt Zürich, die Vermögensinteressen vertritt, kosten- und entschädigungspflichtig (Art. 65 f. u. 68 BGG). Im gleichen Sinne wird die Vorinstanz über die Kosten- und Entschädigungsfolgen des kantonalen Verfahrens neu zu befinden haben.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich vom 4. November 2015 aufgehoben. Die Sache wird im Sinne der Erwägungen an die Kommission für die Grundsteuern der Stadt Zürich und zur Neuverlegung der Kosten- sowie der Entschädigungsfolgen des kantonalen Verfahrens an das Verwaltungsgericht zurückgewiesen.
2.
Die Gerichtskosten von Fr. 9'000.-- werden der Stadt Zürich auferlegt.
3.
Die Stadt Zürich hat den Beschwerdeführern eine Parteientschädigung von insgesamt Fr. 9'000.-- auszurichten.
4.
Dieses Urteil wird den Beschwerdeführern, der Kommission für die Grundsteuern der Stadt Zürich, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 3. April 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Zünd
Der Gerichtsschreiber: Matter