Sachverhalt:
A.
Im August 1999 erwarben A.A._, verheiratet mit B.A._, und ein zweiter Käufer zusammen je 250 Aktien à Fr. 1'000.-- nominal bzw. eine Beteiligung von je 50 % an der C._ AG (mit Sitz in U._) zum Preis von total Fr. 570'000.--. Die Generalversammlung der Gesellschaft beschloss am 14. Januar 2000 eine Namensänderung (neu: D._ AG) und eine Kapitalerhöhung um Fr. 562'000.-- auf Fr. 1'062'000.--. Jeder der beiden übernahm die Hälfte der neuen Aktien, d.h. 281 Aktien, zum Nominalbetrag von Fr. 281'000.--.
In den Steuererklärungen 2001 bis 2014 deklarierten die Eheleute A.A._ und B.A._ Einkünfte aus selbstständiger Erwerbstätigkeit des Gatten als Tennislehrer. Den Steuererklärungen lag jeweils eine Erfolgsrechnung bei, in der die mit dem Erwerb verbundenen Aufwendungen pauschaliert wurden.
Am 8. Januar 2014 veräusserte A.A._ seine 531 Aktien der D._ AG für Fr. 5'820'000.-- an die E._ AG.
B.
In der Veranlagungsverfügung bzw. im Einschätzungsentscheid vom 12. Januar 2017 erfasste der Steuerkommissär den Gewinn aus der Veräusserung der Aktien der D._ AG als steuerbares Einkommen.
C.
Nach erfolglos gebliebenen Einsprachen und Rechtsmitteln auf kantonaler Ebene haben die Ehegatten A.A._ und B.A._ am 27. Januar 2019 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie beantragen, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 5. Dezember 2018 aufzuheben und das Einkommen bei der direkten Bundessteuer sowie bei den Staats- und Gemeindesteuern 2014 ohne den Gewinn aus der Aktienveräusserung festzusetzen.
Das Verwaltungsgericht des Kantons Zürich und das Kantonale Steueramt Zürich schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Den gleichen Antrag stellt die Eidgenössische Steuerverwaltung hinsichtlich der direkten Bundessteuer.

Erwägungen:
I. Prozessuales
1.
1.1. Die Vorinstanz hat ein einziges Urteil für die Kantons- und Gemeindesteuern sowie für die direkte Bundessteuer erlassen, was zulässig ist, soweit die zu entscheidenden Rechtsfragen im Bundesrecht und im harmonisierten kantonalen Recht gleich geregelt sind (<ref-ruling> E. 1.3.1 S. 262 f.). Unter diesen Umständen ist den Beschwerdeführern nicht vorzuwerfen, von zwei getrennten Beschwerden abgesehen zu haben; aus ihrer Eingabe geht deutlich hervor, dass sie beide Steuerarten betrifft (<ref-ruling> E. 1.3.2 S. 264; Urteil 2C_495/2018 vom 7. Mai 2019 E. 1.1).
1.2. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1 und Art. 90 BGG i.V.m. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11] und Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]).
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinn von <ref-law> (<ref-law>). Die betroffene Person muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt in diesem Sinn mangelhaft erscheint und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> i.V.m. Art. 42 Abs. 2 und 106 Abs. 2 BGG). Rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung genügt den Begründungs- und Rügeanforderungen nicht (vgl. <ref-ruling> E. 10.1 S. 445 mit Hinweisen).
II. Direkte Bundessteuer
2.
2.1. Im Bereich der Besteuerung des Einkommens natürlicher Personen gilt das Konzept der Reinvermögenszugangstheorie ("théorie de l'accroissement du patrimoine" bzw. "imposition du revenu global net"). Danach unterliegen aufgrund der Generalklausel von <ref-law> und des nicht abschliessenden Positivkatalogs (Art. 17-23 DBG) alle wiederkehrenden und einmaligen Einkünfte der direkten Bundessteuer. Gemäss <ref-law> unterliegen der Einkommenssteuer alle wiederkehrenden und einmaligen Einkünfte aus einer selbständigen Erwerbstätigkeit. Dazu zählen auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen. Steuerfrei sind laut <ref-law> einzig Kapitalgewinne aus der Veräusserung von Privatvermögen (<ref-ruling> E. 2.1 S. 365 f.; Urteil 2C_731/2017 vom 12. November 2018 E. 3.1). Ausnahmen sind vor dem Hintergrund einer allgemeinen Einkommenssteuer restriktiv zu handhaben (<ref-ruling> E. 2.2 S. 367 m.w.N.).
2.2. Der Gewinn aus der Veräusserung der 50%-igen Beteiligung des Beschwerdeführers an der D._ AG unterliegt entsprechend diesen Grundsätzen (nur) dann der direkten Bundessteuer, wenn der Beschwerdeführer selbständig erwerbstätig war und die fragliche Beteiligung zu seinem Geschäftsvermögen gehörte (vgl. <ref-ruling> E. 3.1; <ref-ruling> E. 4a S. 119 und E. 6a S. 124; Urteil 2C_868/2008 E. 2.2, in: StR 65/2010 S. 205, StE 2010 B 23.1 Nr. 68). Die Vorinstanz hat beides bejaht, was nun vor Bundesgericht angefochten ist.
3.
3.1. Gemäss der bundesgerichtlichen Rechtsprechung ist für eine selbständige Erwerbstätigkeit einer natürlichen Person kennzeichnend, dass diese auf eigenes Risiko, unter Einsatz der Produktionsfaktoren Arbeit und Kapital, in einer von ihr frei gewählten Arbeitsorganisation, dauernd oder vorübergehend, haupt- oder nebenberuflich, in jedem Fall aber mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt. Untergeordnete Anhaltspunkte sind etwa die Beschäftigung von Personal, das Ausmass der Investitionen, ein vielfältiger, wechselnder Kundenstamm und das Vorliegen eigener Geschäftsräumlichkeiten. Die Prüfung ist von Fall zu Fall aufgrund einer umfassenden Würdigung der tatsächlichen Umstände vorzunehmen. Die einzelnen Gesichtspunkte dürfen dabei nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten (vgl. zum Ganzen u.a. <ref-ruling> E. 2.4.2 S. 256 ff.; <ref-ruling> E. 5b S. 120 f.; je m.w.H.; Urteil 2C_389/2018 vom 9. Mai 2019 E. 2.1).
3.2. Zu Recht haben die Vorinstanzen zuerst einmal hervorgehoben, dass der Beschwerdeführer bei der Übernahme des hälftigen Aktienpakets im Jahr 1999 mit dem auf ihn entfallenden Anteil am Kaufpreis von Fr. 285'000.-- und der Teilnahme an der Kapitalerhöhung im Jahr 2001 mit Fr. 281'000.-- eine für ihn erhebliche Investition vornahm, die er in beträchtlichem Umfang fremdfinanzierte, so dass von einer privaten Vermögensanlage nicht gesprochen werden konnte.
Dagegen bringen die Beschwerdeführer vor, der Beteiligungserwerb und die Kapitalerhöhung seien praktisch zu gleichen Teilen eigen- und fremdfinanziert worden. Sie gestehen jedoch selbst ein, dass mit einem Fremdfinanzierungsgrad von 50.4 % mathematisch eine überwiegende Fremdfinanzierung vorlag. Zu Unrecht vergleichen sie ihre Situation weiter mit den in der Regel höheren Fremdfinanzierungsgraden beim Erwerb eines Eigenheims. Beim hier zu beurteilenden Beteiligungskauf und der anschliessenden Kapitalerhöhung handelte es sich aber eben nicht um ein Immobiliengeschäft; vielmehr wurde eine massgebliche Beteiligung an einer nichtkotierten, personenbezogenen Gesellschaft erstanden. Ein solcher Kauf wird erfahrungsgemäss kaum je in der hier von den Parteien gewählten Weise fremdfinanziert, wenn es um eine private Vermögensanlage geht.
Dasselbe zeigt gerade der von den Beschwerdeführern selbst erwähnte Einbezug einer Bank in das Geschäft. Beim Kaufgeschäft stand kein privates Anlagegeschäft im Vordergrund. Stattdessen machte ein Selbständigerwerbender von der ihm gebotenen Möglichkeit Gebrauch, eine massgebende Beteiligung an einem Unternehmen zu erwerben und dadurch langfristig seine wirtschaftlichen Aussichten zu verbessern.
3.3. Mehrere Einwendungen betreffen sodann die Feststellung des Verwaltungsgerichts, wonach der Beschwerdeführer eine für ihn erhebliche Investition vorgenommen hatte, die in enger Verbindung zu seiner bisherigen Erwerbstätigkeit als selbständiger Tennislehrer stand.
3.3.1. Zuerst wird argumentiert, das Verwaltungsgericht habe den mit dem Erwerb der Beteiligung einhergehenden Wechsel in der Funktion des Beschwerdeführers missachtet. Es sei unbestritten, dass er vor 1999 mehrere Jahre (seit 1992) als lizenzierter Tennislehrer auf verschiedenen Tennisplätzen im Kanton Zürich unterrichtet habe. In diesen Jahren sei er gegenüber seinen Tennisschülern im eigenen Namen und auf persönliche Rechnung aufgetreten. Dies habe sich nach dem Erwerb der Beteiligung fundamental geändert, indem er nunmehr keine Stunden mehr gegenüber den Tennisschülern, sondern jeweils monatlich nur einen fixen Betrag für eine fixe Stundenzahl gegenüber der Gesellschaft abgerechnet habe. Rechtlich habe das Verhältnis nicht mehr zwischen den Schülern und ihm bestanden, sondern neu zwischen den Schülern und der Gesellschaft und andererseits zwischen der Gesellschaft und ihm. Er habe kein Inkassorisiko mehr getragen und die Gesellschaft sei seine einzige "Kundin" gewesen. Das Verwaltungsgericht habe die Exklusivität dieser Beziehung verkannt.
Aus den Abrechnungen des Beschwerdeführers mit der Gesellschaft und den Steuerklärungen seit 2001 ergibt sich tatsächlich, wie bereits das Steuerrekursgericht festgestellt hat, dass er nach dem Beteiligungserwerb jeweils allein der Gesellschaft Rechnung stellte. Soweit erkennbar erbrachte er seine Leistungen nur an diese, nicht gegenüber Dritten, auch wenn keine Exklusivität hinsichtlich der Leistungserbringung (mit einem Verbot der Leistungserbringung für andere Leistungsempfänger) vereinbart wurde. Die pauschalierte Abgeltung der Leistungen durch monatlich jeweils gleiche Beträge und die Tätigkeit in Managementfunktionen für die Gesellschaft, welche üblicherweise durch ein Verwaltungsratshonorar abgegolten wird, gehen ebenfalls eher in die Richtung einer unselbständigen Tätigkeit, genauso wie die Tatsache, dass es an eigenen Räumlichkeiten und an einem von jenem der Gesellschaft unterscheidbaren Aussenauftritt des Beschwerdeführers zu fehlen schien.
Diese Einzelelemente erweisen sich aber als ungenügend, um die Gesamtbeurteilung des Verwaltungsgerichts zu erschüttern. Danach tätigte der Beschwerdeführer eine für ihn erhebliche Investition, die er mehrheitlich fremdfinanzierte. Diese Investition stand in starkem Zusammenhang mit seiner bisherigen selbständigen Tätigkeit, die gesamthaft selbst nach dem Beteiligungskauf und dem Regimewechsel (Leistungen nur gegenüber der Gesellschaft und nicht mehr gegenüber einzelnen Kunden von Tennisstunden) weiterhin als solche zu qualifizieren war.
3.3.2. Die Beschwerdeführer machen ausserdem geltend, der Ehemann sei nach dem Beteiligungskauf formell zwar weiterhin selbständig gewesen, materiell indessen nicht. Er sei mit dem Erwerb der Hälfte der Aktien der D._ AG kein Unternehmerrisiko eingegangen, sondern habe mit dem Beteiligungserwerb sogar seine Risikosituation verbessert, indem er nicht mehr in reiner Stundenabgeltung auf zahlreichen Tennisplätzen einer Tätigkeit als Tennislehrer habe nachgehen müssen, sondern eine Gesellschaft mit zahlreichen angestellten Tennislehrern erworben habe und dadurch sogar noch von der Marge auf dem Arbeitseinsatz des Personals der Gesellschaft habe profitieren können. Er habe über keine eigenen Geschäftsräumlichkeiten und kein eigenes Personal verfügt und sei auch nicht nach aussen selbständig am Markt aufgetreten.
Dieser Argumentation ist aber entscheidend Folgendes entgegenzuhalten: Wer wie der Beschwerdeführer als massgeblich Beteiligter an der D._ AG nicht nur gegenüber den Steuerbehörden, sondern vor allem auch den Sozialversicherungsbehörden über einen Zeitraum von mehr als einem Jahrzehnt (einschliesslich des Jahres, in dem er seine Beteiligung veräussert) als selbständig Erwerbender auftritt, seine Erwerbseinkünfte in den Steuererklärungen durchgehend als solche aus selbständigem Erwerb deklariert und dementsprechend auch stets seine Sozialversicherungsbeträge als Selbständigerwerbender abrechnet, der verhält sich widersprüchlich und rechtsmissbräuchlich, wenn er dann, wenn es um die steuerrechtliche Einordnung des beim Verkauf der Beteiligung erzielten Gewinns geht, darauf beruft, er sei für "seine" Gesellschaft unselbständig erwerbstätig gewesen und eine Qualifikation der veräusserten Beteiligung als Geschäftsvermögen falle deshalb ausser Betracht.
3.4. Gesamthaft hat das Verwaltungsgericht seine Beurteilung weder auf eine geradezu offensichtlich unrichtige Sachverhaltsermittlung bzw. Beweiswürdigung (vgl. oben E. 1.3) gestützt, noch erweist sich seine daraus gezogene rechtliche Schlussfolgerung, in der hier massgeblichen Steuerperiode 2014 habe (weiterhin) eine selbständige Erwerbstätigkeit vorgelegen, als bundesrechtswidrig.
4.
Zu beantworten ist ausserdem die Frage danach, ob die veräusserte Beteiligung dem Privatvermögen oder dem Geschäftsvermögen des Beschwerdeführers zuzuordnen war.
4.1. Beteiligungen sind dann als Geschäftsvermögen zu qualifizieren, wenn sie in enger Beziehung zur beruflichen Tätigkeit stehen. Eine solche enge Beziehung ist namentlich dann anzunehmen, wenn die Beteiligung dem Inhaber einen massgeblichen oder sogar beherrschenden Einfluss auf eine Gesellschaft verschafft, deren geschäftliche Tätigkeit seiner eigenen entspricht oder diese sinnvoll ergänzt, was ihm erlaubt, seine ursprüngliche Geschäftstätigkeit auszudehnen (Urteil 2C_802/2012, 2C_803/2012 vom 8. Januar 2013 E. 2.4.1 m.w.N.). Die von der Rechtsprechung geforderte enge Beziehung kann aber gegebenenfalls auch ohne einen massgeblichen bzw. beherrschenden Einfluss bestehen. Entscheidend ist der - in den tatsächlichen Verhältnissen zum Ausdruck gebrachte und verwirklichte - Wille, die Beteiligungsrechte konkret dafür zu nutzen, das Geschäftsergebnis des eigenen Unternehmens bzw. dessen Gewinnchancen zu verbessern (Urteil2 2C_34/2014, 2C_35/2014 vom 15. August 2014 E. 5.1 und 2C_802/2012. 803/2012 vom 8. Januar 2013 E. 2.4.2, je m.w.N.).
4.2. Im vorliegenden Fall, wo der Beschwerdeführer nach dem Erwerb der Beteiligung soweit erkennbar nur für die D._ AG tätig war, ist mit den Vorinstanzen davon auszugehen, dass er die Beteiligungsrechte konkret dafür nutzte, das Geschäftsergebnis des eigenen Unternehmens bzw. dessen Gewinnchancen zu verbessern. Durch den Beteiligungserwerb stellte er seine Tennislehrertätigkeit auf eine neue wirtschaftliche Grundlage, da er sie nicht mehr auf verschiedenen Plätzen ausüben musste. Gesamthaft kann die Würdigung im angefochtenen Urteil zu keinen ernsthaften Zweifeln Anlass geben.
5.
Die Vorinstanz ist somit zu Recht von einer selbständigen Erwerbstätigkeit (vgl. oben E. 3) und von Geschäftsvermögen (E. 4) ausgegangen. Ebenfalls zutreffend hat sie den mit dem Verkauf der Aktien realisierten Gewinn gesamthaft als steuerbares Einkommen erfasst. Dagegen wenden die Beschwerdeführer namentlich zwei Argumente ein, denen indessen nicht gefolgt werden kann.
5.1. Sie bringen vor, die Erfassung des vollständigen Gewinns aus der Veräusserung der Beteiligung an der D._ AG verstosse gegen das Verhältnismässigkeitsprinzip, weil dieser Gewinn nichts mit der Tätigkeit des Beschwerdeführers als Tennislehrer zu tun habe, sondern nur deshalb zustande gekommen sei, weil das der Gesellschaft gehörende Grundstück von Industrie- in Bauland umgezont worden sei. Es fehle an einem adäquaten kausalen Zusammenhang zwischen der vom Verwaltungsgericht angenommenen unternehmerischen Tätigkeit und dem bei der Beteiligungsveräusserung erzielten Gewinn.
Diese aus der Lehre übernommene Kritik (vgl. insb. Marianne Klöti, Besteuerung von land- und forstwirtschaftlichen Grundstücken in der Bauzone, IFF-Forum für Steuerrecht 2012, S. 277) kann bestenfalls de lege ferenda etwas für sich haben. Nach Massgabe von <ref-law> zählen auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen zu den Einkünften aus selbständiger Erwerbstätigkeit. Das geltende Recht unterwirft also Kapitalgewinne aus der Veräusserung von Geschäftsver-mögen generell und ausnahmslos der Einkommenssteuer. Damit bleibt kein Raum für die von den Beschwerdeführern geforderte Unterscheidung.
5.2. Als unbegründet erweisen sich schliesslich, soweit sie überhaupt als ausreichend substanziiert angesehen werden können (vgl. oben E. 1.3), die Vorbringen der Beschwerdeführer, mit denen sie eine Verletzung des Gebots der Rechtsgleichheit gemäss <ref-law> geltend machen. Insbesondere vermag der Umstand, dass der Mitaktionär des Beschwerdeführers mit Bezug auf den beim Beteiligungsverkauf erzielten Gewinn allenfalls zu Unrecht anders behandelt wurde, eine Nichtbesteuerung des vom Beschwerdeführer erzielten Gewinns offensichtlich nicht zu rechtfertigen.
6.
Nach dem Gesagten ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer abzuweisen.
III. Staats- und Gemeindesteuer des Kantons Zürich
7.
Art. 8 Abs. 1 StHG regelt abschliessend und inhaltlich weitgehend übereinstimmend mit dem DBG den Begriff der selbständigen Erwerbstätigkeit. Insbesondere schreibt diese Bestimmung den Kantonen die Steuerbarkeit von Kapitalgewinnen aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen ausdrücklich vor. Die massgebliche Vorschrift im kantonalen Steuerrecht (§ 18 Abs. 1 und 2 des Steuergesetzes [des Kantons Zürich] vom 8. Juni 1997 [StG/ZH; LS 631.1]) entspricht denn auch inhaltlich der Regelung von Art. 18 Abs. 1 und 2 DBG. Für die Begründung, warum der vom Beschwerdeführer bei der Beteiligungsveräusserung erzielte Gewinn auch bei den Staats- und Gemeindesteuern als Einkommen aus selbständiger Erwerbstätigkeit zu erfassen ist, kann somit auf die Erwägungen zur direkten Bundessteuer verwiesen werden.
IV. Kosten und Entschädigung
8.
Nach dem Unterliegerprinzip (<ref-law>) sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern aufzuerlegen, wobei die solidarische Haftung anzuordnen ist (<ref-law>). Dem Kanton Zürich, der in seinem amtlichen Wirkungskreis obsiegt, steht keine Entschädigung zu (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde betreffend die direkte Bundessteuer wird abgewiesen.
2.
Die Beschwerde betreffend die Staats- und Gemeindesteuern des Kantons Zürich wird abgewiesen.
3.
Die Gerichtskosten von Fr. 13'500.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
4.
Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 25. November 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter