Sachverhalt:
A. X._ ist hauptberuflich als Ingenieur und Patentanwalt bei der E._ AG im Bereich der G._ angestellt. Daneben ist er in bescheidenem Umfang als selbständiger Patentanwalt tätig. Bis 2005 war er mit 11% an der auf dem Gebiet der K._ tätigen A._ AG beteiligt. Im Jahr 2005 erzielte seine Einzelfirma aus Geschäften mit der Aktiengesellschaft einen Umsatz von Fr. 32'333.-- (oder rund 40% ihrer gesamten Bruttoeinnahmen).
B. Im Oktober 2005 verkaufte X._ seine Beteiligung an der A._ AG für Fr. 525'000.--. Den dabei erzielten Erlös qualifizierten das Kantonale Steueramt Zürich und danach die Rechtsmittelbehörden des Kantons bei der Staats- sowie der direkten Bundessteuer 2005 als steuerbaren Veräusserungsgewinn auf Geschäftsvermögen. Das bestätigte zuletzt das Verwaltungsgericht des Kantons Zürich mit zwei getrennten Urteilen vom 16. März 2011.
C. Am 6. Mai 2011 haben X._ und Y._ Beschwerden in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie stellen den Antrag, die verwaltungsgerichtlichen Urteile bezüglich der Staatssteuer (Verfahren 2C_361/2011) und der direkten Bundessteuer (2C_364/2011) aufzuheben; der streitige Veräusserungsgewinn sei als steuerfreier privater Kapitalgewinn zu qualifizieren.
D. Das Kantonale Steueramt Zürich, das Verwaltungsgericht des Kantons Zürich und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerden (soweit darauf einzutreten sei). Die letztgenannte Behörde hat bezüglich der Staatssteuer auf eine Stellungnahme verzichtet.
E. Mit Replik vom 5. September 2011 haben die Eheleute X._ und Y._ an ihrem Rechtsstandpunkt festgehalten.
Erwägungen:
1. 1.1 Die weitgehend gleich lautenden Beschwerden betreffen dieselben Parteien, richten sich gegen praktisch übereinstimmende Urteile und werfen identische Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. Art. 71 BGG in Verbindung mit Art. 24 BZP; siehe u.a. BGE 131 V 59 E. 1 S. f. mit Hinweis).
1.2 Die Beschwerden sind grundsätzlich zulässig (vgl. Art. 82 ff. BGG in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11] bzw. mit Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]).
1.3 Auf die Beschwerde betreffend die Kantons- und Gemeindesteuer (2C_361/2011) kann insoweit nicht eingetreten werden, als der durch das angefochtene Urteil festgelegte Streitgegenstand gesprengt und auf das steuerbare Vermögen sowie den Verrechnungssteueranspruch ausgedehnt wird.
1.4 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht geltend gemacht werden (Art. 95 lit. a BGG). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
2. 2.1 Auf Grund der Generalklauseln von Art. 16 Abs. 1 und Art. 18 Abs. 1 DBG unterliegen der Einkommenssteuer alle wiederkehrenden und einmaligen Einkünfte aus einer selbständigen Erwerbstätigkeit. Dazu zählen auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen; als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbständigen Erwerbstätigkeit dienen (Art. 18 Abs. 2 DBG). Steuerfrei sind laut Art. 16 Abs. 3 DBG einzig Kapitalgewinne aus der Veräusserung von Privatvermögen (vgl. ebenfalls die inhaltlich übereinstimmenden Art. 7 u. 8 StHG sowie Art. 16 u. 18 des Steuergesetzes des Kantons Zürich vom 8. Juni 1997 [StG/ZH]).
Aus diesen Bestimmungen hat das Bundesgericht die ständige Praxis abgeleitet, dass Gewinne aus der Veräusserung von Vermögensgegenständen steuerbar sind, wenn sie sich aus irgendeiner auf Erwerb (Verdienst) gerichteten, über die schlichte Vermögensverwaltung hinausgehenden Tätigkeit ergeben, gleichgültig ob diese im Haupt- oder Nebenberuf, regelmässig wiederkehrend oder nur einmal ausgeübt wird (vgl. BGE 125 II 113 E. 4a S. 119 u. E. 6a S. 124; StR 65/2010 205 E. 2.2; StE 2006 B 23.2 Nr. 31 E. 2.1).
2.2 Ob ein Wertgegenstand dem Privat- oder dem Geschäftsvermögen zuzuordnen ist, entscheidet sich aufgrund einer Würdigung aller in Betracht kommenden tatsächlichen Umstände. Ausschlaggebendes Zuteilungskriterium ist die aktuelle technisch-wirtschaftliche Funktion des fraglichen Vermögensgegenstandes. Massgeblich ist also in erster Linie, ob der Gegenstand in seiner tatsächlichen Nutzung dem Geschäft dient. Daneben können als weitere Abgrenzungskriterien die äussere Beschaffenheit des Vermögenswertes, die Herkunft der Mittel zu dessen Finanzierung, das Erwerbs- oder Veräusserungsmotiv, die zivilrechtlichen Eigentumsverhältnisse und auch dessen buchmässige Behandlung dienen (vgl. BGE 133 II 420 E. 3.2 S. 422; StR 62/2007 116 E. 2.2; ASA 74 737 E. 2.3; Pra 2006 Nr. 16 S. 119 E. 4.2; RDAF 2006 II 221 E. 2.2; NStP 59/2005 91 E. 3.2; StE 2001 B 23.2 Nr. 22 E. 3c).
2.3 Beteiligungen stellen sog. alternative Vermögenswerte dar, die sowohl in Beziehung zur Geschäftstätigkeit stehen als auch einer privaten Verwendung dienen können. Bei ihnen ist, im Gegensatz zu Liegenschaften (oder Teilen davon), eine gemischte (d.h. teils geschäftliche, teils private) Nutzung nicht möglich. Ihre Zuweisung erfolgt - im Einklang mit dem allgemeinen Kriterium der aktuellen technisch-wirtschaftlichen Funktion des Wirtschaftsguts (vgl. oben E. 2.2) - danach, welche tatsächliche Verwendung der zu beurteilenden Beteiligung konkret zukommt. In der erforderlichen Gesamtwürdigung ist zu bestimmen, ob die Beteiligung aus betrieblichen bzw. geschäftspolitischen Gründen oder als private Kapitalanlage erworben worden ist und gehalten wird (vgl. ASA 49 72 E. 1, 63 37 E. 5a; 71 288 E. 4a; 74 737 E. 2.2 u. 2.3; RDAT 1998 I Nr. 23T S. 468 E. 3b sowie die Urteile 2A.110/1989 StPra BL X/1990 299 E. 2c, 2A.17/1989 vom 28.6.1989 StPS 1989 173 E. 4a u. 2A.178/2006 vom 17. Juli 2006 E. 3.2).
2.4 In Übereinstimmung mit diesen Grundsätzen sind Beteiligungen gemäss der bundesgerichtlichen Rechtsprechung dann als Geschäftsvermögen zu qualifizieren, wenn sie in enger Beziehung zur beruflichen Tätigkeit stehen:
2.4.1 Eine solche enge Beziehung ist namentlich dann anzunehmen, wenn die Beteiligung dem Inhaber einen massgeblichen oder sogar beherrschenden Einfluss auf eine Gesellschaft verschafft, deren geschäftliche Tätigkeit seiner eigenen entspricht oder diese sinnvoll ergänzt, was ihm erlaubt, seine ursprüngliche Geschäftstätigkeit auszudehnen (vgl. ASA 49 72 E. 1; StE 2006 B 23.2 Nr. 31 E. 2.3; Urteile 2A.110/1989 E. 2c, 2A.17/1989 E. 4a u. 2A.125/2007 vom 14. April 2008 E. 3.1.2).
2.4.2 Die von der Rechtsprechung geforderte enge Beziehung kann gegebenenfalls auch ohne einen massgeblichen bzw. beherrschenden Einfluss bestehen. Namentlich ist für die Zurechnung zum Geschäftsvermögen eine Mehrheitsbeteiligung nicht zwingend notwendig. Jedoch hat das Bundesgericht, wie es in ASA 71 288 E. 4c festgehalten hat, seine Praxis seit dem in ASA 49 72 publizierten Urteil in folgendem Sinne präzisiert (vgl. insb. das Urteil 2A.110/1989 E. 2c): Eine enge wirtschaftliche Beziehung zwischen einer (Einzel-)Unternehmung und der Aktiengesellschaft, an welcher der Unternehmer beteiligt ist, vermag für sich allein noch nicht für eine Zuordnung der Aktien zum Geschäftsvermögen zu genügen. Erforderlich ist zusätzlich der - in den tatsächlichen Verhältnissen zum Ausdruck gebrachte und verwirklichte - Wille, die Beteiligungsrechte konkret dafür zu nutzen, das Geschäftsergebnis des eigenen Unternehmens bzw. dessen Gewinnchancen zu verbessern (vgl. ASA 71 288 E. 4c; siehe seither auch StE 2006 B 23.2 Nr. 31 E. 2.3 sowie die Urteile 2A.178/2006 vom 17. Juli 2006 E. 4.1 u. 2C_349/2009 vom 16. November 2009 E. 4.2). Diese Präzisierung ist in der Lehre sozusagen ausnahmslos begrüsst worden (vgl. u.a. YVES NOËL, RDAF 2011 II S. 30 ff.; MADELEINE SIMONEK, ASA 72 S. 2 ff. u. 76 S. 3 ff.; ROBERT WALDBURGER, FStR 2002 S. 231 ff.; MARKUS REICH/ROBERT WALDBURGER, FStR 2006 S. 304 ff.; URS BEHNISCH, ZBJV 2003 S. 872 ff. u. 2007 S. 405 ff.; siehe auch die Hinweise in ASA 71 288 E. 4d; die genannten Autoren haben dagegen an der Anwendung dieser Präzisierung im einen oder anderen Einzelfall Kritik geübt).
3. In Bezug auf den hier streitigen Veräusserungsgewinn stellt sich nicht die Frage, ob er auf nebenberuflichem Wertschriftenhandel beruht (wie z. B. im Bundesgerichtsurteil 2C_385/2011 vom 12. September 2011; vgl. dort insb. E. 2 mit weiteren Hinweisen; siehe auch oben E. 2.1). Vielmehr handelt es sich um einen (ausserordentlichen) Kapitalgewinn, der danach zu beurteilen ist, ob er auf Geschäfts- oder Privatvermögen erzielt wurde.
3.1 Zur Beantwortung dieser Frage ist unbestrittenermassen auf das oben in E. 2.4.2 dargestellte Kriterium abzustellen, wie es von der Lehre anerkannt und auch von den Beschwerdeführern nicht in Zweifel gezogen wird. Auf das genannte Kriterium hat sich auch die Vorinstanz gestützt und dabei zu Recht erwogen, dass die massgebliche Beteiligung dem Geschäftsvermögen zuzurechnen und der erzielte Kapitalgewinn somit steuerbar ist.
Das Verwaltungsgericht hat im Wesentlichen festgehalten, dass die Geschäfte mit der Aktiengesellschaft im Jahr 2005 rund 40% der Bruttoeinnahmen der Einzelfirma ausmachten; unter Ausklammerung der Kosten, Amtsgebühren, Auslagen und der Mehrwertsteuer belief sich der Anteil sogar auf über 47%. Die Beschwerdeführer bestreiten zwar diese Zahlen. Es gelingt ihnen jedoch nicht, die vom Verwaltungsgericht getroffene Sachverhaltsfeststellung als qualifiziert unrichtig erscheinen zu lassen. Somit bindet sie das Bundesgericht (vgl. oben E. 1.4). Bei einer solchen Sach- und Rechtslage vermag es nicht zu überzeugen, wenn die Beschwerdeführer meinen, die Einnahmen der Einzelfirma aus den Geschäften mit der Aktiengesellschaft seien derart unbedeutend gewesen, dass der notwendige Zusammenhang zwischen den beiden Unternehmen zu verneinen sei. Vielmehr erfolgte eine durchaus beachtliche und keineswegs zu vernachlässigende Verbesserung des Geschäftsergebnisses.
Daran ändert nichts, dass der Beschwerdeführer nur 11% des Aktienkapitals innehatte und die Geschäftspolitik der Aktiengesellschaft von daher an sich nicht massgeblich beeinflussen konnte. Zutreffend hebt das Verwaltungsgericht vielmehr folgenden Umstand hervor: Der Beschwerdeführer ist Patentanwalt für G._ und besitzt gemäss eigenen Angaben nur (sehr) beschränkte Kenntnisse im Bereich der Zahntechnik; somit liegt die Vermutung nahe, dass er die Aufträge der Aktiengesellschaft nur aufgrund seiner Beteiligung erhielt; er setzte demnach seine Beteiligung zielgerichtet ein, um die Einkünfte aus seiner selbständigen Erwerbstätigkeit zu steigern (vgl. E. 3.2 der angefochtenen Urteile). Demzufolge hat die Vorinstanz zutreffend eine sowohl quantitativ wie auch qualitativ wesentliche Erhöhung bzw. Verbesserung des Geschäftsergebnisses bei der Einzelfirma angenommen, was die enge wirtschaftliche Beziehung zwischen den beiden Unternehmen im erforderlichen Umfang zu begründen vermag.
3.2 Die festgehaltene Resultatverbesserung vermag schon für sich allein die vom Verwaltungsgericht vorgenommene Zurechnung der Beteiligungsrechte zum Geschäftsvermögen zu rechtfertigen. Demgemäss erübrigt sich, zusätzlich zu prüfen, ob der dem Beschwerdeführer für seine Aktien bezahlte Verkaufspreis noch weitere steuerbare Leistungen enthielt.
Im Zusammenhang mit diesem Verkaufspreis machen die Beschwerdeführer geltend, dass das Verwaltungsgericht das Novenverbot verletzt habe. Dieser Vorwurf erweist sich aber als unbegründet, wie sich aus den Vernehmlassungen der kantonalen Behörden zutreffend ergibt. Es muss darauf aber ebenso wenig näher eingegangen werden wie auf die Frage, ob der Beschwerdeführer bei der Bestimmung des Verkaufspreises im kantonalen Verfahren seinen Mitwirkungs- und Offenlegungspflichten (zur Genüge) nachgekommen ist.
3.3 Was die Beschwerdeführer sonst noch gegen die Zuordnung der Beteiligungsrechte zum Geschäftsvermögen vorbringen, vermag ein anderes Ergebnis ebenfalls nicht zu rechtfertigen.
Namentlich kann es nicht massgeblich sein, dass die Geldmittel für den Kauf der Aktien aus dem Privatvermögen stammten. Ebenso mag wohl sein, dass der Beschwerdeführer in den beiden ersten Jahren, in denen er die Aktien hielt, von der Gesellschaft überhaupt keine Honorareinnahmen bezog. Wenn hier einzig das Jahr 2005 zu beurteilen ist, dann kann genauso wenig von Belang sein, dass in den beiden Geschäftsjahren 2004 und 2005 der durchschnittliche Arbeitsaufwand pro Woche zugunsten der AG nicht mehr als eine halbe Stunde betrug. Unbeachtlich sind im Weiteren die Einkünfte des Jahres 2006.
Ohne Einfluss auf die Beurteilung muss auch bleiben, dass die Aktien früher im Wertschriftenverzeichnis als Privatvermögen eingestuft wurden und die Steuerbehörden diese Qualifikation nicht beanstandet hatten. Nach ständiger Praxis des Bundesgerichts kommt einer Veranlagung bei periodischen Steuern nur für die betreffende Periode Rechtskraft zu; die tatsächlichen und rechtlichen Verhältnisse können daher in einem späteren Veranlagungszeitraum durchaus anders gewürdigt werden (vgl. u.a. Pra 2006 Nr. 16 S. 119 E. 3.2 u. 4.3.1, StE 2001 B 96.11 Nr. 6 E. 1b/bb, ASA 69 793 E. 2b/aa).
Schliesslich setzen sich die Beschwerdeführer nicht mit der konkreten Berechnung des Kapitalgewinns auseinander. Mangels diesbezüglicher Rüge ist deshalb nicht weiter zu prüfen, ob vom Verkehrswert der Beteiligungen im Zeitpunkt der Veräusserung ein anderer Betrag abgezogen werden sollte, als ihn die Behörden zugrunde gelegt haben, um den erzielten Wertzuwachs festzulegen (vgl. dazu u.a. StR 58/2003 129 E. 3.3).
4. Die hier anzuwendenden Gesetzesvorschriften stimmen im Bereich der Staats- und der direkten Bundessteuer - wie bereits hervorgehoben (vgl. oben E. 2.1) - inhaltlich überein (vgl. u.a. StR 65/2010205 E. 2.1). Das muss zur Abweisung beider Beschwerden führen, wobei auf diejenige zur Kantons- und Gemeindesteuer (2C_361/2011) aus dem schon genannten Grund (vgl. oben E. 1.3) nicht vollumfänglich eingetreten werden kann. Dementsprechend werden die Beschwerdeführer unter Solidarhaft kostenpflichtig.
Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_361/2011 und 2C_364/2011 werden vereinigt.
2. Die Beschwerde betreffend die direkte Bundessteuer wird abgewiesen.
3. Die Beschwerde betreffend die Staats- und Gemeindesteuer wird abgewiesen, soweit darauf einzutreten ist.
4. Die Gerichtskosten von Fr. 8'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
5. Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 8. November 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber Matter