Sachverhalt:
A. X._ gründete im Jahre 2000 zusammen mit drei Partnern die auf Organisation, Durchführung und Vermittlung von Reisen aller Art sowie auf weitere Tourismus- und Freizeitdienstleistungen ausgerichtete A._ AG mit Sitz in Zug. X._ war Geschäftsführer des Unternehmens und hielt 20 der 100 Aktien zu je nominal Fr. 1000.--. Dem als Verwaltungsratspräsident amtierenden B._ gehörten 40 Aktien, und die restlichen 40 Aktien hielten je hälftig C._ sowie D._.
Trotz erfreulichem Geschäftsgang stellte man fest, dass die Zukunft des Unternehmens nur mit einem "starken" Partner langfristig gesichert werden konnte. Ein solcher wurde mit der E._ AG, Glattbrugg, gefunden, die aber am Kauf der A._ AG nur interessiert war, wenn ihr X._ und B._ sämtliche Aktien der Gesellschaft anbieten konnten. Zudem wollte die Käuferin die Verkäufer an einer positiven Entwicklung der Gesellschaft teilhaben lassen und X._ als Geschäftsführer der A._ AG für eine gewisse Übergangszeit beibehalten.
Zu diesem Zweck schloss die E._ AG am 20. September 2005 die vier nachfolgenden Verträge ab:
mit X._ und B._ einen Aktienkaufvertrag, worin sich diese verpflichteten, der Käuferin bis spätestens am 8. Oktober 2005 sämtliche Aktien der A._ AG zum Preis von Fr. 50'000.-- pro Aktie, ausmachend insgesamt 5 Mio. Franken, zu verkaufen. Allerdings mussten sie hierzu vorgängig die 40 noch im Eigentum von C._ und D._ gehaltenen Aktien zu einem Preis von maximal 1,5 Mio. Franken erwerben, was denn auch am gleichen Tag zu einem effektiven Preis von Fr. 1'358'000.-- geschah.
mit X._ und B._ einen Aktionärsbindungsvertrag; darin verpflichteten sich diese, bis Ende 2005 30% bzw. 10% der Aktien der A._ AG zum Preis von Fr. 50'000.-- pro Aktie von der E._ AG zurückzukaufen und dieser nach einer Wartefrist von vier Jahren, frühestens per 1. Juli 2010, zu einer zum Voraus definierten Preisspanne wieder zu verkaufen.
mit X._ einen Darlehensvertrag, worin die E._ AG den Preis für den Rückkauf der 30% der Aktien mittels eines verzinslichen Darlehens stundete.
mit X._, B._ und F._ einen Hinterlegungsvertrag ("Escrowvertrag"), worin sich die Vertragsparteien verpflichteten, ihre Aktien der A._ AG bis zur Ausübung des Kaufsrechtes der E._ AG bzw. des Verkaufs- und Mitverkaufsrechts von X._ und B._, längstens aber bis am 2. Juli 2010, bei F._ zu hinterlegen.
B. Für die Steuerperiode 2005 deklarierte X._ für die Staats- und Gemeindesteuer ein steuerbares Einkommen von Fr. 48'490.-- und ein steuerbares Vermögen von Fr. 585'520.-- sowie für die direkte Bundessteuer ein steuerbares Einkommen von Fr. 49'290.--. Der zuständige Steuerkommissär des Kantonalen Steueramtes Zürich erachtete den aus dem Aktienverkauf erzielten Gewinn als steuerbar und veranlagte X._ am 16. Oktober 2009 für die Staats- und Gemeindesteuer auf ein steuerbares Einkommen von Fr. 1'354'800.-- und ein steuerbares Vermögen von Fr. 440'000.-- sowie für die direkte Bundessteuer auf ein steuerbares Einkommen von Fr. 1'355'600.--. Hiergegen erhobene Einsprachen hiess das kantonale Steueramt mit Entscheiden vom 19. Mai 2010 teilweise gut und setzte für die Staats- und Gemeindesteuer das steuerbare Einkommen auf Fr. 761'700.-- und das steuerbare Vermögen auf Fr. 506'000.-- sowie für die direkte Bundessteuer das steuerbare Einkommen auf Fr. 762'500.-- fest. Die anschliessend angerufene Steuerrekurskommission I des Kantons Zürich hiess das von X._ erhobene Rechtsmittel am 20. September 2010 betreffend die Einkommenssteuer gut und setzte für die Staats- und Gemeindesteuer das steuerbare Einkommen gemäss Deklaration auf Fr. 48'400.-- (steuerbares Vermögen von Fr. 585'000.--) sowie für die direkte Bundessteuer ein steuerbares Einkommen von Fr. 49'200.-- fest. Das von den Steuerbehörden daraufhin angegangene Verwaltungsgericht des Kantons Zürich wies die Beschwerden ab.
C. Das Kantonale Steueramt Zürich beantragt vor Bundesgericht, die Urteile des Verwaltungsgerichts des Kantons Zürich vom 16. März 2011 aufzuheben und den Beschwerdegegner für die Staats- und Gemeindesteuern 2005 mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 481'800.-- und einem steuerbaren Vermögen von Fr. 537'000.-- sowie für die direkte Bundessteuer 2005 mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 482'600.-- einzuschätzen bzw. zu veranlagen.
D. Das Verwaltungsgericht des Kantons Zürich und der Beschwerdegegner schliessen auf Abweisung, die Eidgenössische Steuerverwaltung beantragt die Gutheissung der Beschwerde betreffend die direkte Bundessteuer und verzichtet auf eine Stellungnahme betreffend die Staats- und Gemeindesteuern.
Erwägungen:
1. 1.1 Die weitgehend gleich lautenden Beschwerden betreffen die gleichen Parteien, richten sich gegen praktisch übereinstimmende Entscheide und werfen dieselben Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. Art. 71 BGG in Verbindung mit Art. 24 BZP; BGE 131 V 59 E. 1 S. 60 f. mit Hinweis).
1.2 Beim angefochtenen Entscheid handelt es sich um einen kantonal letztinstanzlichen Entscheid über die direkten Steuern des Kantons und des Bundes. Dagegen steht gemäss Art. 82 ff. BGG in Verbindung mit Art. 146 DBG (SR 642.11) sowie Art. 73 StHG (SR. 642.14) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Auf die form- und fristgerecht eingereichte Beschwerde des legitimierten Beschwerdeführers ist einzutreten (vgl. Art. 146 Abs. 2 DBG bzw. Art. 73 Abs. 2 StHG in Verbindung mit Art. 89 Abs. 2 lit. d BGG).
1.3 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht gerügt werden (Art. 95 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
2. 2.1 Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte mit Ausnahme der Kapitalgewinne aus der Veräusserung von Privatvermögen (Art. 16 Abs. 1 und Abs. 3 DBG). Steuerbar sind gemäss Art. 18 Abs. 1 DBG alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit. Unter diesen Begriff fällt allgemein jede Tätigkeit, bei der ein Unternehmer auf eigenes Risiko, unter Einsatz von Arbeit und Kapital, in einer frei gewählten Organisation und mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt. Eine solche Tätigkeit kann haupt- oder nebenberuflich sowie dauernd oder temporär ausgeübt werden. Ob eine selbständige Erwerbstätigkeit vorliegt, ist stets nach den gesamten Umständen des Einzelfalls zu beurteilen; die einzelnen Begriffsmerkmale dürfen nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten (BGE 125 II 113 E. 5b S. 120 f.; 122 II 446 E. 5a S. 452 f.; neuerdings Urteil 2C_907/2010 vom 16. Mai 2011 E. 3.1, mit Hinweisen). Keine selbständige Erwerbstätigkeit liegt aber vor, wenn bloss das eigene Vermögen verwaltet wird. Im Hinblick auf die zu berücksichtigenden Indizien erwog das Bundesgericht in seinem Urteil 2C_868/2008 vom 23. Oktober 2009 E. 2.7 (in: StE 2010 B 23.1 Nr. 68), für die Frage, ob Wertschriftenhandel vorliege, seien insbesondere die Kriterien der "Höhe des Transaktionsvolumens" (betragsmässige Summe aller Käufe und Verkäufe) sowie der "Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte" zu berücksichtigen. Demgegenüber seien die Indizien des systematischen und planmässigen Vorgehens sowie des Einsatzes spezieller Fachkenntnis nicht mehr zeitgemäss und hätten nur noch untergeordnete Bedeutung im Sinne von "Ausschlusskriterien" (vgl. auch Urteil 2C_403/2009 & 2C_404/2009 vom 1. März 2009 E. 2.4 in fine). Diese von der Literatur unterschiedlich gewürdigte Verdeutlichung der Praxis (dazu etwa URS R. BEHNISCH, Die steuerrechtliche Rechtsprechung des Bundesgerichts im Jahr 2009, ZBJV 146 [2010], S. 450 f.; FELIX RICHNER, Die steuerrechtliche Rechtsprechung des Bundesgerichts im Jahr 2009 für natürliche Personen, ASA 79 [2010/11], S. 736 f.; ROBERT WALDBURGER, Rechtsprechung im Jahr 2009, FStR 10 [2010], S. 231 ff.) ist allerdings auf den Fall des sog. Quasi-Wertschriftenhändlers zugeschnitten, wo es um Portfolio-Anlagen geht. Vorliegend haben aber Beteiligungen an der A._ AG die Hand geändert, weshalb sich hier die Frage stellt, ob man es mit einem "Beteiligungshändler" zu tun hat.
2.2 Einen nebenberuflichen "Beteiligungshandel" aufgrund isolierter Transaktionen bei steuerpflichtigen Personen, die hauptberuflich unselbständig erwerbstätig waren, nahm das Bundesgericht bisher nur vereinzelt und bei besonders gelagerten Sachverhalten an. In sämtlichen Fällen des "Beteiligungshandels", in denen eine selbständige Nebenerwerbstätigkeit bejaht wurde, spielten die Indizien der "Berufsnähe" bzw. der eingesetzten "Spezialkenntnisse" eine gewisse Rolle. Den Ausschlag gaben aber durchwegs die massive Fremdfinanzierung und das dadurch entstandene grosse (Unternehmer-)Risiko (vgl. Urteil 2A.72/1999 vom 9. Juli 1999 E. 3a, in: ASA 69, S. 652 ff., 655; Urteil 2A.145/1995 vom 18. September 1997 E. 2b, in: ASA 67, S. 483 ff., 487; dazu Entscheid der Bundessteuer-Rekurskommission Zürich vom 25. November 1994, in: StE 1995 B 23.1 Nr. 32) oder aber das besonders systematische und planmässige Vorgehen (Urteil 2A.23/2004 vom 1. September 2004 E. 3.3, in: StR 60, S. 493 ff. 499).
3. 3.1 Untersucht man das Vorgehen des Beschwerdegegners im Lichte vorstehender Praxis, gibt es wohl einzelne Indizien, die - isoliert betrachtet - für eine selbständige Nebenerwerbstätigkeit sprechen könnten; die entscheidwesentlichen Kriterien weisen jedoch klar in die andere Richtung.
3.1.1 Als Gründer und Geschäftsführer der A._ AG kannte der Beschwerdegegner natürlich sein Unternehmen und dessen Ertragspotential bestens. Für dessen langfristigen Fortbestand suchte er einen "starken" Partner und fand diesen in der E._ AG. Dank dem Beistand professioneller Berater war er zusammen mit B._ - mit dem er zum Zwecke der Abwicklung der Transaktion eine einfache Gesellschaft bildete - in der Lage, den Geschäftsverkauf und die eigene Weiterbeschäftigung zu optimalen Konditionen auszuhandeln. Die von Dritten hinzugekauften Aktien hielt der Beschwerdegegner wohl nur wenige Tage, und er musste einen Teil der verkauften Aktien wiederum unter seinem Namen (wenn auch bei einem Dritten hinterlegt) übernehmen, damit er nach wie vor ein eigenes Interesse an der erfolgreichen Weiterführung des Geschäfts hatte.
3.1.2 Auf der andern Seite gelang es dem Beschwerdegegner, die Transaktion mit minimalem eigenen Risiko abzuwickeln. Insbesondere brauchte er sich per saldo nicht zu verschulden; wohl wurde die Kaufpreisforderung für die Rückübernahme des 30%-Aktienpaketes während der Hinterlegungsfrist gestundet, gleichzeitig hatte der Beschwerdegegner die Zusicherung, dass diese Aktien mindestens zum selben Preis wieder von der E._ AG zurückgenommen werden. Stets war er nur mit einem Vertragspartner, nämlich der E._ AG, in Verbindung, und sämtliche Elemente der komplexen, über vier Jahre hinaus konzipierten Transaktion wurden am gleichen Datum des 20. Septembers 2005 stipuliert. Der Beschwerdegegner konnte dank dieser Absicherung seine bisherige Erwerbstätigkeit als Geschäftsführer der A._ AG weiterführen. Daraus erhellt, dass nicht die kurzfristige Gewinnmaximierung im Vordergrund stand, sondern die Sicherung des langfristigen Überlebens des selbst aufgebauten Unternehmens. Mit der Vorinstanz liegt in diesem Vorgehen noch keine selbständige Erwerbstätigkeit des Beschwerdegegners im Sinne von Art. 18 DBG.
3.2 Was der Beschwerdeführer dagegen vorbringt, überzeugt nicht:
3.2.1 Was zunächst die Rüge anbetrifft, die Vorinstanz habe den Sachverhalt unvollständig wiedergegeben, so ist festzuhalten, dass diese den rechtlich relevanten Sachverhalt lediglich etwas verkürzt wiedergegeben hat:
Die Vorinstanz würdigt zwar nicht besonders, dass der Beschwerdegegner und B._ nach Ziffer 1. des Aktienkaufvertrags vom 20. September 2005 "im Rahmen dieses Vertrages eine einfache Gesellschaft im Sinne von Art. 530 ff. OR" bilden. Allerdings ist es rechtlich zwingend, dass zwei Personen, die gemeinsam dasselbe wirtschaftliche Ziel verfolgen, zu diesem Zweck eine einfache Gesellschaft bildeten. Denn "zur Entstehung einer einfachen Gesellschaft genügt die Einigung mehrerer Personen, die Erreichung eines bestimmten Zwecks gemeinsam fördern zu wollen" (ARTHUR MEIER-HAYOZ/PETER FORSTMOSER, Schweizerisches Gesellschaftsrecht, 10. Aufl. Bern 2007, S. 326). Im Übrigen bezweckte diese Gesellschaft nicht die Ausübung eines Gewerbes, sondern den Verkauf von Aktien im Rahmen der privaten Vermögensverwaltung.
Ebenso wenig würdigt die Vorinstanz, dass der Beschwerdegegner und B._ die von den beiden anderen Aktionären stammenden Aktien zunächst zu Eigentum erwarben und sie unverzüglich - mit Gewinn - zusammen mit ihren eigenen Aktien weiterverkauften. Dies ist in der Tat ein Sachverhaltselement, das - isoliert betrachtet - für Gewinnstrebigkeit spricht. Allerdings ist auch dieses Sachverhaltselement im Gesamtrahmen zu sehen. Die E._ AG wollte offenbar sämtliche Aktien der A._ AG erwerben und sich nicht noch mit - nicht im Geschäft tätigen - Minderheitsaktionären herumschlagen. Sollte daher die im Interesse des Unternehmens liegende Transaktion zustande kommen, mussten die Aktien der beiden anderen Aktionäre in einem ersten Schritt erworben werden. Dass diese nicht zum Halten, sondern zum sofortigen Weiterverkauf erstanden wurden, liegt auf der Hand. Diese Konstellation ist daher nicht geeignet, die Würdigung der Transaktion in ihrer Gesamtheit zu verändern.
3.2.2 Nach dem Beschwerdeführer sprenge das Vorgehen des Beschwerdegegners den Rahmen der privaten Vermögensverwaltung. Für die Erzielung des Gewinnes sei eine Vielzahl von Vorkehren erforderlich gewesen, welche in ihrer Gesamtheit eine auf Erwerb gerichtete Tätigkeit erkennen lasse. Dabei verweist er auf das Urteil 2A.486/2002 vom 31. März 2003 (StE 2003 B 23.1 Nr. 55). Allerdings geht es dort um "normalen" Wertschriftenhandel und nicht um Beteiligungshandel. Zudem wurde - wie oben dargelegt (vgl. E. 2 ) - die diesbezügliche Praxis seither verdeutlicht, so dass die dortigen Ausführungen nur noch bedingt relevant sind. Neu stehen das "Transaktionsvolumen" und der "Einsatz fremder Mittel" im Vordergrund. Keines der beiden Hauptkriterien ist hier in relevantem Masse erfüllt, insbesondere fehlt das für eine selbständige Erwerbstätigkeit typische beträchtliche Unternehmerrisiko.
3.2.3 Ebenso wenig vermag die auf den ersten Blick überraschende Rücknahme von 30 Aktien der A._ AG zum Preis von 1,5 Mio Franken (Fr. 50'000.-- pro Aktie) daran etwas zu ändern. Der Beschwerdegegner wusste bereits, dass er diese Aktien spätestens nach vier Jahren mindestens zum selben Preis, eventuell sogar viel höher, rückübertragen konnte. Aus Sicht der E._ AG ging es offenbar darum, den erfolgreichen Geschäftsmann weiter an das von diesem aufgebaute Geschäft zu binden und so auch in Zukunft eine erfolgreiche Geschäftsentwicklung sicherzustellen. Im Gesamtrahmen betrachtet vermag dieser Sachverhaltsaspekt am Ergebnis, dass hier ein erfolgreiches Geschäft vom Firmengründer im Rahmen der privaten Vermögensverwaltung gewinnbringend verkauft wurde, nichts zu ändern. Eine selbständige Erwerbstätigkeit des Beschwerdegegners ist nicht zu erkennen.
4. § 16 Abs. 1 und 3 sowie § 18 Abs. 1 des Zürcher Steuergesetzes vom 8. Juni 1997 (LS 631.1) entsprechen Art. 16 Abs. 1 bzw. 3 und Art. 18 Abs. 1 DBG und harmonieren mit Art. 7 und 8 StHG. Der Begriff der selbständigen Erwerbstätigkeit ist daher unter dem Geltungsbereich des StHG und im kantonalen Recht nicht anders auszulegen als auf dem Gebiet der direkten Bundessteuer. Eine andere Auslegung würde dem Anliegen der vertikalen Steuerharmonisierung zuwiderlaufen und die mit dem Erlass des StHG angestrebte Vereinfachung der Rechtsanwendung vereiteln (Urteil 2C_868/2008 vom 23. Oktober 2009 E. 2.1 mit Hinweisen, in: StE 2010 B 23.1 Nr. 68). Das zum DBG Ausgeführte, wonach die fragliche Transaktion des Beschwerdegegners nicht im Rahmen einer selbständigen Erwerbstätigkeit abgewickelt wurde, sondern noch ein Akt der privaten Vermögensverwaltung darstellt, gilt damit auch für die Staats- und Gemeindesteuern.
5. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich damit als unbegründet und ist abzuweisen. Bei diesem Verfahrensausgang wird der Kanton Zürich, der Vermögensinteressen verfolgt, kostenpflichtig (Art. 65 f. BGG). Er hat den Beschwerdegegner für das bundesgerichtliche Verfahren zu entschädigen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_385/2011 und 2C_386/2011 werden vereinigt.
2. Die Beschwerden in öffentlich-rechtlichen Angelegenheiten werden abgewiesen.
3. Die Gerichtskosten von Fr. 4'000.-- werden dem Kanton Zürich auferlegt.
4. Der Kanton Zürich hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 4'000.-- zu entschädigen.
5. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 12. September 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Errass