Sachverhalt:
A.
A.A._, Partner einer Anwaltskanzlei in Zürich, war im Jahr 2008 Mitglied des Verwaltungsrats der B._ AG, U._/LU. Das Aktienkapital der Gesellschaft betrug Fr. 12 Mio., eingeteilt in 12'000'000 Inhaberaktien zu je Fr. 1.--.
A.a. A.A._ kaufte am 28./31. Oktober 2008 3'960'000 Inhaberaktien (33 % des Aktienkapitals) für Fr. 7'920'000.-- (Fr. 2.-- pro Aktie). 40 % des Kaufpreises (Fr. 3'168'000..--) musste er sofort bezahlen, den Restbetrag (Fr. 4'752'000.--) liess die Verkäuferin als Darlehen stehen. Der Käufer finanzierte die sofort zu bezahlende Summe mittels eines Bankkredits.
A.b. Am 28. Januar 2009 verkaufte A.A._ 550'000 Aktien (4,58 % des Nominalkapitals) an eine Liechtensteinische Gesellschaft für Fr. 1'100'000.- (Fr. 2.- pro Aktie). Mit Vertrag vom 6. Dezember 2010 veräusserte er die restlichen 3'410'400 Aktien (28,42 % des Nominalkapitals) an zwei Gesellschaften mit Sitz in Panama zu einem Preis von Fr. 11 Mio. (Fr. 3.2258.-- pro Aktie).
A.c. Am 27. November 2013 kaufte A.A._ 3'810'000 Aktien (31,75 % des Aktienkapitals) von den beiden Gesellschaften in Panama für Fr. 12 Mio. zurück.
B.
Nachdem ein länger dauerndes Auflage- und Veranlagungsverfahren vorangegangen war, setzte das kantonale Steueramt Zürich mit Einspracheentscheid vom 27. Februar 2018 den Gewinn aus dem (auf dem Vertrag vom 6. Dezember 2010 basierenden) Verkauf der Beteiligung auf Fr. 3'633'114.-- fest. Dementsprechend veranlagte es die Eheleute A.A._ und B.A._ für die direkte Bundessteuer 2011 mit einem steuerbaren Einkommen von Fr. 2'208'500.-- (zum Satz von Fr. 2'217'300.--), für die Staats- und Gemeindesteuern 2011 mit einem steuerbaren Einkommen von Fr. 4'027'200.-- (zum Satz von Fr. 4'036'100.--) und einem steuerbaren Vermögen von Fr. 3'389'000.-- (zum Satz von Fr. 3'455'000.--).
C.
Am 26. März 2019 hiess das Steuerrekursgericht des Kantons Zürich die Beschwerde und den Rekurs der Eheleute A._ teilweise gut. Es bestätigte die im Gewinn aus dem Verkauf der Beteiligung begründete Einkommens-Aufrechnung von Fr. 3'633'114.--, schätzte die Gatten für die direkte Bundessteuer 2011 aber - aus vorliegend nicht weiter interessierenden Gründen - nur mit einem steuerbaren Einkommen von Fr. 2'180'900.-- (zum Satz von Fr. 2'189'700.--) ein, für die Staats- und Gemeindesteuern 2011 mit einem steuerbaren Einkommen von Fr. 3'999'600.-- (zum Satz von Fr. 4'008'500.--) und einem steuerbaren Vermögen von Fr. 3'389'100.-- (zum Satz von Fr. 3'455'000.--). Die dagegen erhobenen Beschwerden blieben erfolglos (Urteil des Verwaltungsgerichts des Kantons Zürich vom 24. Februar 2021).
D.
Gegen das verwaltungsgerichtliche Urteil gelangen die Ehegatten A._ mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 16. April 2021 ans Bundesgericht. Sie stellen den Antrag, das angefochtene Urteil aufzuheben und ein geringeres (in zwei Varianten betraglich präzisiertes) steuerbares bzw. satzbestimmendes Einkommen festzulegen, ohne dass Vermögenswerte, Schulden oder Schuldzinsen im Zusammenhang mit der B._-Transaktion oder einer Ersatzinvestition dem geschäftlichen Bereich zuzuweisen seien. Eventualiter sei auf dem B._-Verkaufsgewinn eine Rückstellung in Höhe des Rohgewinns zu berücksichtigen.
Die beteiligten Behörden schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
I. Prozessuales
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gemäss Art. 82 ff. BGG in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG; SR 642.14) zulässig. Die Beschwerdeführer sind gestützt auf Art. 89 Abs. 1 BGG zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist einzutreten (Art. 42 und 100 BGG).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), prüft jedoch unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) nur die geltend gemachten Rechtsverletzungen, sofern rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.5). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (Art. 106 Abs. 2 BGG; <ref-ruling> E. 2.1; <ref-ruling> E. 2.2; <ref-ruling> E. 2.5).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Eine Berichtigung oder Ergänzung der vorinstanzlichen Feststellungen ist von Amtes wegen (Art. 105 Abs. 2 BGG) oder auf Rüge hin (Art. 97 Abs. 1 BGG) möglich. Von den tatsächlichen Grundlagen des vorinstanzlichen Urteils weicht das Bundesgericht jedoch nur ab, wenn diese offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen und die Behebung des Mangels für den Verfahrensausgang zudem entscheidend sein kann (Art. 97 Abs. 1 BGG; <ref-ruling> E. 1.6). "Offensichtlich unrichtig" bedeutet "willkürlich" (<ref-ruling> E. 2). Eine entsprechende Rüge ist hinreichend zu substanziieren (Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 5.1; <ref-ruling> E. 1.4.3).
2.
2.1. Im Zusammenhang mit beiden hier umstrittenen Aufrechnungen (vgl. unten E. 3 u. 4) bringen die Beschwerdeführer jeweils mehrere Sachverhaltsrügen vor. Dabei begnügen sie sich sich allerdings weitgehend damit, ihre Sicht der Dinge den Feststellungen der Vorinstanz entgegenzusetzen, womit sie den sie treffenden Rügepflichten nicht gerecht werden (vgl. oben E. 1.2). Das Bundesgericht geht damit nachfolgend vom Sachverhalt aus, wie das Verwaltungsgericht ihn festgestellt hat (Art. 105 Abs. 1 BGG; vgl. oben E. 1.3).
2.2. Den Anforderungen von Art. 106 Abs. 2 BGG genügen die Beschwerdeführer auch dort nicht, wo sie eine Verletzung ihres rechtlichen Gehörs und - an verschiedenen Stellen - eine willkürliche Rechtsanwendung geltend machen. Auf diese Rügen kann ebenfalls nicht näher eingegangen werden.
II. Direkte Bundessteuer
3.
Die Beschwerde bestreitet die Zulässigkeit der Aufrechnung von Einkünften aus selbständiger Nebenerwerbstätigkeit im Betrag von Fr. 3'633'114.--.
3.1. Der direkten Bundessteuer unterliegen (namentlich) alle Einkünfte aus Handels-, Industrie, Gewerbe-, Land- und Forstwirtschaftsbetrieben, aus freien Berufen sowie aus jeder anderen selbständigen Erwerbstätigkeit (Art. 18 Abs. 1 DBG). Zu den Einkünften aus selbständiger Erwerbstätigkeit gehören auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen; als Geschäftsvermögen gelten dabei insbesondere alle Vermögenswerte, die ganz oder vorwiegend der selbständigen Erwerbstätigkeit dienen (vgl. Art. 18 Abs. 2 Sätze 1 und 3 DBG). Der Veräusserung von Geschäftsvermögen gleichgestellt ist die Überführung von Geschäftsvermögen in das Privatvermögen (vgl. Art. 18 Abs. 2 Satz 2 DBG). Kapitalgewinne aus der Veräusserung von Privatvermögen sind hingegen steuerfrei (Art. 16 Abs. 3 DBG). Mit Blick auf den Grundsatz der Besteuerung nach der wirtschaftlichen Leistungsfähigkeit (Art. 127 Abs. 2 BV) und das diesen konkretisierende Reinvermögenszugangsprinzip stellt die Steuerfreiheit privater Kapitalgewinne eine systemwidrige Ausnahme dar. Im System einer allgemeinen Einkommenssteuer sind Ausnahmen restriktiv zu handhaben (<ref-ruling> E. 5.3; <ref-ruling> E. 5.6 m.w.H.).
3.1.1. Von Gewinnen im Privatvermögen ist praxisgemäss auszugehen, wenn sie in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt worden sind, sodass die Tätigkeit nicht insgesamt auf Erwerb gerichtet ist und damit keine selbständige Erwerbstätigkeit darstellt. Der Begriff der selbständigen Erwerbstätigkeit gemäss Art. 18 Abs. 1 DBG ist dabei praxisgemäss weit zu verstehen: Gewinne aus einer Tätigkeit, die über die schlichte Verwaltung von Privatvermögen hinausgeht, stellen steuerbares Einkommen dar (<ref-ruling> E. 5d und 5e; Urteil 2C_18/2018 vom 18. Juni 2018 E. 3.1). Dazu zählen nach Art. 18 Abs. 2 DBG auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen.
3.1.2. Für eine selbstständige Erwerbstätigkeit kennzeichnend ist die Tätigkeit einer natürlichen Person, mit der diese auf eigenes Risiko, unter Einsatz der Produktionsfaktoren Arbeit und Kapital, in einer von ihr frei gewählten Arbeitsorganisation, dauernd oder vorübergehend, haupt- oder nebenberuflich, in jedem Fall aber mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt. Untergeordnete Anhaltspunkte sind etwa die Beschäftigung von Personal, das Ausmass der Investitionen, ein vielfältiger wechselnder Kundenstamm und das Vorliegen eigener Geschäftsräumlichkeiten. Die Prüfung ist von Fall zu Fall aufgrund einer umfassenden Würdigung der tatsächlichen Umstände vorzunehmen. Die einzelnen Gesichtspunkte dürfen dabei nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten (vgl. zum Ganzen <ref-ruling> E. 2.4.2; <ref-ruling> E. 5b, je m.w.H.; Urteile 2C_758/2020 vom 29. Juli 2021 E. 4.2; 2C_298/2019 vom 18. August 2020 E. 3.2; 2C_ 890/2018 vom 18. September 2019 E. 5.1).
3.1.3. Der Begriff der selbständigen Erwerbstätigkeit geht weiter als derjenige beispielsweise des Betriebes, denn er umfasst gemäss Art. 18 Abs. 1 DBG auch die freien Berufe sowie jede andere selbständige Erwerbstätigkeit (vgl. <ref-ruling> E. 5b S. 121). Eine selbständige Erwerbstätigkeit kann zudem haupt- oder nebenberuflich, dauernd oder temporär ausgeübt werden. Das Vermögen, das der Geschäftstätigkeit dient, bildet grundsätzlich Geschäftsvermögen (Art. 18 Abs. 2 DBG). Geschäftsvermögen setzt somit notwendigerweise eine selbständige Erwerbstätigkeit voraus (vgl. Urteile 2C_1021/2019 vom 30. Oktober 2020 E. 5.1 u. 5.2; 2C_1001/2018 vom 30. Januar 2020 E. 2.2).
3.1.4. Bei steuerpflichtigen Personen, die im Hauptberuf unselbständig erwerbstätig sind, wird gemäss der bundesgerichtlichen Rechtsprechung nebenberuflicher Wertschriften- und Beteiligungshandel nur vereinzelt, bei besonders gelagerten Sachverhalten, angenommen. Eine solche selbständige Nebenerwerbstätigkeit kann aber gegebenenfalls sogar dann zu bejahen sein, wenn nur gerade eine Beteiligung zum Verkauf gelangt ist. Indizien wie die Berufsnähe oder die eingesetzten Spezialkenntnisse spielen eine gewisse Rolle, vor allem aber die allfällige Fremdfinanzierung, das eingegangene (Unternehmer-) Risiko oder das besonders systematische und planmässige Vorgehen. Hingegen kommt der Höhe des erzielten Gewinns nur eine untergeordnete Bedeutung zu (vgl. u.a. Urteile 2C_758/2020 vom 29. Juli 2021 E. 5; 2C_1131/2015 vom 9. Mai 2016, E. 3.1.2; 2C_115/2012 vom 25. September 2012 E. 2.2.1; 2C_385/2011 12. September 2011 E. 2.2; m.w.H.).
3.2. Hinsichtlich der aufgerechneten Einkünfte aus selbständiger Nebenerwerbstätigkeit enthält das angefochtene Urteil Sachverhaltsfeststellungen, die sich für das Bundesgericht als verbindlich erweisen (vgl. oben E. 1.3).
3.2.1. Das Verwaltungsgericht hat vorab festgehalten, dass der Gewinn aus der Veräusserung der Aktien dem Beschwerdeführer in der Steuerperiode 2011 zugeflossen sei. Dafür hat es auf den Zeitpunkt der Aktienübertragung abgestellt, sei es nun im Zusammenhang mit dem Verkauf an die liechtensteinische Anstalt (Vertrag vom 28. Januar 2009) oder demjenigen an die beiden Gesellschaften mit Sitz in Panama (Vertrag vom 6. Dezember 2010). Es hat als wesentlich erachtet, dass die zu beurteilenden Kapitalgewinne in zeitlicher Hinsicht dann als realisiert zu gelten hätten, wenn der Verkäufer die vertraglich versprochene Leistung erbracht und damit einen festen Anspruch auf die Gegenleistung des Käufers erworben habe. Da der Beschwerdeführer als Verkäufer seine Aktien erst im Jahr 2011 übertragen habe, habe er den aus deren Veräusserung fliessenden Gewinn somit in derselben Steuerperiode 2011 realisiert (vgl. E. 3.5.1 - 3.5.3 u. 3.5.6 des angefochtenen Urteils, nachfolgend: a.U.).
3.2.2. Weiter hat das Verwaltungsgericht erwogen, dass dem realisierten Kapitalgewinn keine Neutralisierung des Zuflusses durch eine Garantieerklärung entgegengestanden habe. Eine solche macht der Beschwerdeführer geltend: Mit dem Vertrag von Dezember 2010 sei eine Garantieerklärung verbunden gewesen; aufgrund der darin enthaltenen Rückgabeverpflichtung sei der Gewinn aus dem Aktienverkauf gänzlich unsicher und somit auf Null zu berechnen gewesen.
Demgegenüber hat das Verwaltungsgericht die Beweiswürdigung des Steuerrekursgerichts bestätigt und festgehalten, es sei nicht zur Überzeugung gelangt, dass 2010 tatsächlich eine solche förmliche Garantieerklärung abgegeben worden sei; der Nachweis der Neutralisierung sei misslungen und kein korrelierender bzw. neutralisierender Abfluss ersichtlich. Der Beschwerdeführer habe im Laufe des Verfahrens widersprüchliche Sachdarstellungen abgegeben. Zudem sprächen die Klauseln im massgeblichen Verkaufsvertrag gegen das Vorliegen einer zusätzlichen Garantieerklärung; unbestrittenermassen bilde die Garantieerklärung nicht Bestandteil des Verkaufsvertrags vom 6. Dezember 2010; der - immerhin 32 Seiten umfassende - Vertrag regle den Rückkaufsfall selbst und halte ausserdem fest, dass keine weiteren Vereinbarungen und Garantien zwischen den Parteien bestünden. Weiter müsse festgehalten werden, dass die geltend gemachte Garantieerklärung lediglich die Unterschrift des Beschwerdeführers trage, was die Glaubwürdigkeit der vorgebrachten Sichtweise zusätzlich schmälere. Jahre nach der Veräusserung habe der Beschwerdeführer wohl die (am 30. August 2016 erstellte) Bestätigung einer liechtensteinischen Kontaktperson eingereicht; dem Dokument komme jedoch keine grosse Überzeugungskraft zu. Im Übrigen sei mit Vertrag vom 27. November 2013 tatsächlich ein Rückkauf erfolgt, doch habe der massgebliche Rückkaufsvertrag die vermeintliche Garantieerklärung von Dezember 2010 mit keinem Wort erwähnt, geschweige denn eine Verpflichtung des Beschwerdeführers zu einem Rückkauf enthalten. Aus all diesen Gründen hat das Verwaltungsgericht die Beweiswürdigung des Steuerrekursgerichts, wonach beim hier zu beurteilenden Verkauf keine Garantieerklärung abgegeben worden sei, auf eine Weise bestätigt, die für das Bundesgericht verbindlich ist (Art. 105 Abs. 1 BGG; vgl. zum Ganzen E. 3.5.4 - 3.5.6 a.U.).
3.3. Gestützt auf die vorinstanzlichen Sachverhalts-Feststellungen ist mit dem Verwaltungsgericht anzunehmen, dass die Einkünfte aus selbständiger Nebenerwerbstätigkeit zu Recht aufgerechnet worden sind.
3.3.1. Wie die Vorinstanz zutreffend festgehalten hat, ging es in der strittigen Steuerperiode 2011 nur um ein einziges Veräusserungsgeschäft (vgl. dazu oben E. 2.1 zum Zeitpunkt der Aktienübertragung als Grundlage für den Zufluss des hier umstrittenen Verkaufsgewinns). Dieses Geschäft war allerdings durch ein ausserordentlich hohes Transaktionsvolumen (in der Steuerperiode 2011 über Fr. 10 Mio.) und eine vollständige Fremdfinanzierung (40 % Bankkredit, 60 % stehen gelassenes Darlehen der Verkäuferin; vgl. oben Sachverhalt/A.a.) gekennzeichnet.
Dazu kam das Verhältnis zwischen diesem Transaktionsvolumen und dem Gesamtvermögen der Beschwerdeführer. Deren steuerbares Nettovermögen in der hier massgeblichen Steuerperiode betrug weniger als Fr. 4 Mio. und bestand zur Hauptsache aus Immobilien. Der Beschwerdeführer erwarb die B._-Aktien für knapp Fr. 8 Mio., veräusserte sie tranchenweise für insgesamt Fr. 12,1 Mio. und kaufte sie anschliessend für Fr. 12 Mio. wieder zurück. Diese Ausgestaltung der verschiedenen Geschäftsetappen spricht - neben dem Transaktionsvolumen - ebenfalls gegen eine schlichte Vermögensverwaltung und erklärt zusätzlich, warum der Beschwerdeführer zur Finanzierung des Kaufs zu 100 % auf fremde Mittel angewiesen war (vgl. E. 3.4.1 u. 3.4.2 a.U.).
3.3.2. Damit verbunden war die planmässige und systematische Ausrichtung auf Gewinnerzielung. Eine solche Ausrichtung war zuerst einmal daran erkennbar, dass der Beschwerdeführer seine Beteiligung an der Gesellschaft tranchenweise - in zwei Transaktionen an verschiedene Käufer - veräusserte und Aktien einer anderen AG erwarb, die er später zwecks Rückkaufs der Aktien der ersten Gesellschaft in Zahlung gab. In dieselbe Richtung gingen die weitgehende Verflechtung der Transaktionen der B._ AG mit den anderen geschäftlichen Aktivitäten des Beschwerdeführers und die besondere Komplexität der Vertragsbeziehungen. Insbesondere zeigte auch die Art, wie der Beschwerdeführer den Kaufpreis finanzierte, eine zielgerichtete Vorgehensweise zur Gewinnerzielung, dies trotz der zwei bis drei Jahre betragenden Besitzesdauer.
Weiter wurden die aus den Aktienverkäufen erzielten Erlöse nicht für die Schuldentilgung verwendet, sondern gleich wieder in eine jeweils neu gegründete Gesellschaft investiert. Eine solche Wiederanlage in gleichartige Vermögensgegenstände ist als Teil des planmässigen Vorgehens ein weiteres Indiz für eine selbständige Erwerbstätigkeit. Für ein systematisches Vorgehen spricht im Übrigen, dass der Beschwerdeführer selbst die Wiederanlage als eine ''taugliche Ersatzinvestition" bezeichnet (vgl. zur spezifischen Frage von Wiederanlage und Ersatzinvestition u.a. das Urteil 2A.425/2001 vom 12. November 2002 E. 4 sowie E. 3.4.2 a.U.).
3.3.3. Das Kriterium der Berufsnähe und dasjenige der speziellen Fachkenntnisse waren nur von untergeordneter Bedeutung. Wohl mag ein Fall von Management-Buyout vorgelegen haben, ebenso wie die damit zwangsläufig verbundene Berufsnähe. Doch zeigte sich gerade im Vorgehen des Beschwerdeführers in Bezug auf den Verkauf der Beteiligung, in den zwecks Finanzierung abgeschlossenen Verträgen und in den personellen Verflechtungen, dass er (bzw. seine Hilfspersonen, deren Verhalten ihm zuzurechnen ist) über die von der Rechtsprechung geforderten Spezialkenntnisse verfügte. Darin lag ein weiteres - wenn auch gegebenenfalls untergeordnetes - Indiz für eine selbständige Erwerbstätigkeit (vgl. E. 3.4.2 a.U.).
3.3.4. In Gesamtwürdigung der verschiedenen Einzelumstände ist somit - wie die Vorinstanz das getan hat - nebst Aspekten von untergeordneter Bedeutung - insbesondere auf zwei Elemente abzustellen, um ihnen spezielles Gewicht zuzumessen: einerseits die vollständige Fremdfinanzierung der Finanztransaktion, andererseits die systematische und planmässige Ausrichtung auf Gewinnerzielung. Diese Gewichtung und rechtliche Würdigung des Verwaltungsgerichts steht im Einklang mit Art. 18 DBG und der dazu ergangenen bundesgerichtlichen Rechtsprechung (vgl. oben E. 3.1, insb. 3.1.2 u. 3.1.4; siehe auch E. 3.4 a.U. gesamthaft).
3.4. Dagegen bringen die Beschwerdeführer mehrere Einwendungen vor, die jedoch nicht zu überzeugen vermögen.
3.4.1. Erfolglos machen sie geltend, die Fremdfinanzierung habe in Wirklichkeit nur 33,3 % betragen. Dieser Einwand ist nicht dazu geeignet, die vorinstanzliche Sachverhalts-Feststellung, wonach die hier massgeblichen Transaktionen vollumfänglich fremdfinanziert gewesen seien, als geradezu offensichtlich unzutreffend erscheinen zu lassen (vgl. oben E. 1.2 u. 1.3). Die Feststellung steht im Einklang damit, dass 40 % des Transaktionsvolumens durch einen Bankkredit und die restlichen 60 % durch ein Darlehen der Verkäuferin finanziert waren (vgl. oben Sachverhalt/A.a. u. E. 3.3.1 sowie 3.3.4).
An der vollumfänglichen Fremdfinanzierung hätte auch eine allfällige - von den Beschwerdeführern unsubstantiiert behauptete (vgl. oben E. 1.2 u. 2.1) - Gewinn- und Verlustbeteiligung der Verkäuferin nichts geändert. Ebenso wenig kann dem Argument gefolgt werden, das Bundesgericht habe in einem anderen Fall zu Unrecht eine umfassende Fremdfinanzierung angenommen (vgl. dazu das Urteil 2C_102/2019 vom 25. November 2019 E. 3.2; dort ist, entgegen der Darstellung der Beschwerdeführer, nicht von einer "übermässigen" Fremdfinanzierung die Rede, sondern von einer "überwiegenden").
3.4.2. Weiter macht der Beschwerdeführer geltend, je geringer das Unternehmerrisiko sei, desto weniger sei von einer selbständigen Erwerbstätigkeit auszugehen. Hier sei aber die Transaktion mit einem geringen Risiko verbunden gewesen, insbesondere sei der Kauf der B._-Aktien aus der damaligen Optik kein Hochrisikogeschäft und das Kreditrisiko trotz erheblicher fremder Mittel gering gewesen.
Darauf kann es jedoch unter den gegebenen Umständen nicht ankommen. Wesentlich ist die vollumfängliche Fremdfinanzierung zuerst einmal unter dem Gesichtspunkt, dass sie für eine private Vermögensverwaltung (gänzlich) untypisch ist. Weiter ist die (Art der) Finanzierung insbesondere im Zusammenhang mit dem aussergewöhnlichen Transaktionsvolumen und der Komplexität der vereinbarten Geschäftsmodalitäten ein zusätzliches Indiz für ein zielgerichtetes Vorgehen im Sinne von Gewinnstrebigkeit.
3.4.3. Auch gegen die planmässige und systematische Ausrichtung auf eine Gewinnerzielung machen die Beschwerdeführer nichts geltend, was sich als überzeugend erweisen würde. Für ein solches zielgerichtetes Vorgehen sprechen hier mehrere Elemente in der Ausgestaltung der zu beurteilenden Transaktion (vgl. oben E. 2.3.2 u. 2.3.4). Dagegen kann auch nicht eingewendet werden, die Steuerbehörden hätten die betroffenen Vermögenswerte in den vorangegangenen Steuerperioden ausnahmslos als privates Kapital eingestuft; dann könne aber nicht angehen, dieselben Werte auf einmal als geschäftlich umzuqualifizieren, sobald darauf ein beträchtlicher Gewinn realisiert worden sei (vgl. zu dieser Problematik u.a. das Urteil 2C_297/2012 vom 17. Oktober 2012 E. 4.2).
Eine solche Argumentation lässt jedoch ausser Acht, dass auch eine einzige Transaktion in der zu beurteilenden Steuerperiode zur Annahme einer selbständigen Erwerbstätigkeit führen kann, wenn die massgebliche Transaktion unter Umständen wie den hier gegebenen erfolgt, u.a. bei vollumfänglicher Fremdfinanzierung sowie einer planmässigen und systematischen Ausrichtung auf Gewinnerzielung.
Ebenso wenig ist ersichtlich, wie das Verwaltungsgericht bei seiner Beurteilung die Auswirkungen der Weltwirtschaftskrise nach 2008 willkürlich unberücksichtigt gelassen habe (vgl. so aber Rz 16 S. 5, Rz 21 S. 6 u. Rz 35 S. 10 der Beschwerdeschrift) oder was die Beschwerdeführer aus der von ihnen geltend gemachten Haltedauer für sich ableiten könnten.
3.4.4. Die Beschwerdeführer machen weiter geltend, aus Haftpflichtüberlegungen und angesichts der Rückgabe der B._-Aktien im Jahr 2013 sei eine Rückstellung im Zusammenhang mit der hier massgeblichen Transaktion zuzulassen. In den Folgejahren nach dem Verkauf sei das tatsächliche Ergebnis der B._ erheblich vom Budgetergebnis abgewichen, auch habe der Cashflow die Garantie auslösende Schwelle deutlich unterschritten.
Nachdem jedoch - gemäss den für das Bundesgericht verbindlichen Sachverhalts-Feststellungen der Vorinstanz (vgl. oben E 1.3, 2 u. ausführlich 3.2.2) - keine Garantieerklärung abgegeben worden und somit im hier massgeblichen Jahr kein korrelierender bzw. neutralisierender Abfluss ersichtlich war, bestand schon aus diesem Grund keine Grundlage für eine in der vorliegend zu beurteilenden Steuerperiode gewinnmindernd zu berücksichtigende Rückstellung (vgl. dazu auch E. 3.5.4 - 3.5.5 a.U.).
4.
Die Beschwerde richtet sich sodann gegen die Aufrechnung eines Betrags von Fr. 56'500.-- als Einkommen aus unselbständiger Erwerbstätigkeit.
4.1. Diese Aufrechnung stützt sich ebenfalls auf Sachverhaltsfeststellungen, die sich für das Bundesgericht als verbindlich erweisen (vgl. oben E. 1.3). Das gilt vorab für die Feststellung, dass der Betrag dem Beschwerdeführer in der Steuerperiode 2011 zugeflossen sei. Die verschiedenen Teilbeträge der Gesamtsumme von Fr. 56'500.-- seien weiter allesamt durch Gesellschaften überwiesen worden, bei denen der Beschwerdeführer Verwaltungsrat gewesen sei; auch handle es sich bei keinem der Einzelbeträge um Doppel- oder sogar Dreifacherfassungen derselben Zahlungen (vgl. E. 2.3 a.U.).
4.2. Gestützt auf seine Sachverhaltsfeststellungen hat das Verwaltungsgericht bundesrechtskonform erwogen, dass im Ausmass von Fr. 56'500.-- zusätzliches Einkommen aus unselbständiger Erwerbstätigkeit vorlag, der beim steuerbaren Einkommen der Beschwerdeführer für 2011 aufzurechnen war.
4.3. Was die Beschwerdeführer dagegen vorbringen, vermag die Aufrechnung nicht als bundesrechtswidrig erscheinen zu lassen. Im Wesentlichen beschränken sich ihre Argumente auch diesbezüglich darauf, der vom Verwaltungsgericht bestätigten und für das Bundesgericht verbindlichen Beweiswürdigung ihre eigene Sichtweise in Bezug auf die Faktenlage entgegenzuhalten, ohne dass es ihnen gelingen würde, die vorinstanzlichen Sachverhaltsfestellungen als geradezu willkürlich oder offensichtlich fehlerhaft erscheinen zu lassen (vgl. oben E. 1.2, 1.3 u. 2.1). Auch gegen die rechtliche Würdigung des Verwaltungsgerichts vermögen ihre Vorbringen nicht durchzudringen.
III. Kantons- und Gemeindesteuern
5.
Die für die Beurteilung der vorgenommenen Aufrechnungen im Rahmen der Kantons- und Gemeindesteuern massgeblichen Bestimmungen (vgl. insb. Art. 7 Abs. 1 StHG und § 18 des Steuergesetzes des Kantons Zürich vom 8. Juni 1997 [LS 631.1]) stimmen inhaltlich mit denjenigen überein, die bei der direkten Bundessteuer anwendbar sind. Demzufolge muss die Beurteilung auch zum gleichen Ergebnis führen.
IV. Kostenfolgen
6.
Nach dem Gesagten ist die Beschwerde abzuweisen und werden die Beschwerdeführer (unter Solidarhaft) kostenpflichtig (vgl. Art. 65 f. BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird betreffend die direkte Bundessteuer abgewiesen.
2.
Die Beschwerde wird betreffend die Kantons- und Gemeindesteuern abgewiesen.
3.
Die Gerichtskosten von Fr. 13'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung mitgeteilt.
Lausanne, 8. April 2022
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: F. Aubry Girardin
Der Gerichtsschreiber: Matter