Faits:
A. X._ est un ingénieur qui a développé des procédés protégés par des brevets, qui ont été inscrits en novembre 1984 pour l'un sous son nom et pour l'autre conjointement sous son nom et celui de Y._.
X._ a d'abord été employé de l'Institut A._ de 1968 à fin 1979. En 1984, il a été engagé par la société B._ SA en qualité de directeur général pour développer le concept de photos composeuses qu'il avait inventé. Hormis son contrat de travail, le 20 août 1984, il a passé avec cette dernière société un contrat de licence et de redevances. Le développement du produit a finalement redémarré par le biais d'une collaboration avec la société C._.
En 1998, D._ et C._ se sont associées et ont fondé la société E._ Ltd (ci-après: E._). X._ a alors été engagé début décembre 1998 en qualité de directeur responsable du site de Z._. Le contrat de travail prévoyait que X._ dirigerait les travaux de l'équipe de recherches et développement dans le domaine de l'écriture numérique et qu'il se réservait la propriété intellectuelle des brevets dont il était titulaire. Il a en outre accordé à E._ une licence par le biais d'un premier contrat daté du 14 décembre 1998, puis par un second contrat de licence daté du 27 juillet 1999.
Le 10 novembre 2001, X._ et E._ ont signé un contrat portant encore une fois sur les droits du premier, qui a été remplacé par un second contrat "rectificatif" daté du 1er avril 2005 avec effet rétroactif en octobre 2001, date de mise en application du premier contrat.
Le 30 juin 2006, en raison de restructurations, la succursale de Z._ a été fermée et l'activité de X._ auprès de E._ a pris fin.
En exécution des obligations résultant des conventions de licences, X._ a reçu de E._ le 23 juillet 1999, 800'000 fr., le 24 juillet 2000, 100'000 fr., le 1er juin 2001, 100'000 fr., soit un montant total de 1'000'000 fr. Par la suite, en exécution des contrats du 10 novembre 2001 et du 1er avril 2005, X._ aurait encore perçu trois annuités complémentaires en dollars équivalant à 130'900 fr. en 2002, à 119'395 fr. en 2004 et à 148'263 fr. en 2005.
B. Le 9 novembre 2001, pour la période fiscale 2001/2002, X._ a déclaré un revenu imposable de 72'800 fr. et une fortune imposable de 1'024'000 fr. Se fondant sur les indications de la fiduciaire de X._, la décision de taxation du 5 juin 2002 a arrêté le revenu imposable à 470'200 fr. et la fortune imposable à 1'024'000 francs.
Le 28 juin 2002, X._ a déposé une réclamation à l'encontre de la taxation du 5 juin 2002, au motif qu'il s'agissait d'un gain en capital privé provenant de sa fortune immatérielle.
L'Administration cantonale des impôts a alors constaté que X._ avait reçu en 2002, 2004 et 2005 de la société E._ d'autres montants provenant de son brevet. Ces périodes fiscales ayant déjà été taxées et ces revenus n'ayant pas été déclarés, une enquête a été ouverte le 10 juillet 2008 par la Division de l'inspection fiscale de l'Administration cantonale des impôts.
Le 4 mars 2009, l'Administration cantonale des impôts a rendu une décision de rappel d'impôt pour les périodes fiscales 2001-2002bis, 2004 et 2005. Le revenu soumis à l'impôt cantonal et communal pour 2002 (revenu extraordinaire durant la brèche) se montait à 130'900 fr. au lieu d'être nul, le revenu imposable pour 2004 se montait à 297'000 fr. au lieu de 177'600 fr. et le revenu imposable pour 2005 se montait à 341'400 fr. au lieu de 193'200 fr. Pour l'impôt fédéral direct, le revenu imposable pour 2002 se montait à 130'900 fr. au lieu d'être nul, le revenu imposable pour 2004 se montait à 291'300 fr. au lieu de 171'900 fr. et le revenu imposable pour 2005 à 338'300 fr. au lieu de 190'000 francs.
Le 16 décembre 2009, l'Administration cantonale des impôts a rejeté les réclamations déposées par X._ contre la décision de taxation du 5 juin 2002 et la décision de rappel d'impôt du 4 mars 2009.
Le 15 janvier 2010, X._ a déposé un recours contre la décision sur réclamation du 16 décembre 2009 auprès du Tribunal cantonal du canton de Vaud.
C. Après avoir procédé à un double échange d'écritures, le Tribunal cantonal a rejeté par arrêt du 15 juin 2010 le recours déposé contre la décision sur réclamation rendue le 16 décembre 2009. Il a jugé que les montants perçus par l'intéressé entre 1999 et septembre 2001 puis ceux perçus entre le 22 juillet 2002 et le 21 juin 2005 étaient imposables au titre de revenus de biens immatériels au sens des art. 20 al. 1 let. f de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct et 23 al. 1 let. f de la loi du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSVD 642.11). Par surabondance de droit, il a jugé que les brevets en cause appartenaient à la fortune commerciale de l'intéressé.
D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 15 juin 2010 par le Tribunal cantonal, la décision sur réclamation du 16 décembre 2009, la décision de taxation du 5 juin 2002 et la décision de rappel d'impôt du 4 mars 2009 et de constater que le gain perçu sur l'aliénation du brevet n'est pas imposable.
L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet du recours
E. Par ordonnance du 24 août 2010, le Président de la IIe Cour de droit public a refusé d'accorder l'effet suspensif au recours.
Considérant en droit:
1. 1.1 Le recours est dirigé contre une décision finale (art. 90 LTF) comprenant un dispositif séparé pour l'impôt fédéral direct et pour l'impôt cantonal harmonisé (art. 82 let. a LTF), rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 lettre d et al. 2 LTF), sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, de sorte que, sous réserve des exigences légales de motivation et des motifs exposés ci-dessous (consid. 2), la voie du recours en matière de droit public est en principe ouverte. Le recourant étant destinataire de l'arrêt attaqué, il a qualité pour recourir (art. 89 LTF).
1.2 Les conclusions tendant à l'annulation des décisions sur réclamation du 16 décembre 2009, de taxation du 5 juin 2002 et de rappel d'impôt du 4 mars 2009 sont irrecevables en raison de l'effet dévolutif du recours au Tribunal cantonal du canton de Vaud (cf. ATF 126 II 300 consid. 2a p. 302 s.).
2. 2.1 D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Par conséquent, il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. D'après l'art. 97 LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause. La notion de "manifestement inexacte" de l'art. 97 LTF correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 133 III 393 consid. 7.1 p. 398). Enfin, selon l'art. 99 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
2.2 En l'espèce, bien qu'il expose correctement les dispositions légales relatives à la constatation des faits devant le Tribunal fédéral, le recourant se borne à substituer sa version des faits à celle retenue dans l'arrêt attaqué (mémoire de recours, p. 4 à 8) sans exposer concrètement en quoi la constatation des faits serait arbitraire ni en quoi une correction des vices aurait une influence sur le sort de la cause. Dans ces conditions, le grief de constatation manifestement inexacte des faits est irrecevable. C'est par conséquent sur la base des faits retenus par le Tribunal cantonal dans l'arrêt attaqué (art. 105 al. 1 LTF) qu'il convient d'examiner les griefs de violation du droit fédéral exposés par le recourant.
I. Impôt fédéral direct
3. 3.1 Selon la clause générale de l'art. 16 al. 1 LIFD, l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
Dans ce sens, l'art. 17 LIFD déclare soumis à l'impôt sur le revenu le produit de l'activité lucrative dépendante, tandis que l'art. 18 al. 1 déclare soumis au même impôt le produit de l'activité lucrative indépendante, notamment les revenus provenant de l'exploitation d'une entreprise commerciale ainsi que tous les bénéfices en capital provenant de l'aliénation, de la réalisation ou de la réévaluation comptable d'éléments de la fortune commerciale, celle-ci comprenant tous les éléments de fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante (art. 18 al. 2 LIFD).
3.2 Les rendements provenant de la fortune mobilière sont imposables en application de l'art. 20 LIFD, parmi lesquels figurent les revenus de biens immatériels (art. 20 al. 1 let. f LIFD). Constitue un rendement de fortune toute recette ou prestation appréciable en argent, périodique ou unique, qui a son origine dans un élément de fortune, l'usage de cet élément ou sa mise à disposition, par opposition au gain en capital, par quoi l'on entend toute plus-value obtenue à l'occasion de l'aliénation d'un élément de fortune à un tiers ou d'un autre mode de réalisation assimilable à une aliénation (cf. parmi d'autres auteurs: Danielle Yersin, Distinction entre le rendement de fortune et les gains en capital, in Archives 50, 465, p. 479; Markus Reich, Bundesgesetz über die direkte Bundessteuer (DBG), Art. 1-82, 2e éd., Zweifel/Athanas éditeurs, Bâle 2008, nos 50 s.; Richner/ Frei/Kaufmann/Meuter, Handkommentar zum DBG, 2e éd., Zurich 2009, nos 152, 165 et 166 ad art. 16 LIFD et les références citées).
La distinction est d'importance puisque les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables (art. 16 al. 3 LIFD).
3.3 Dans la mesure par conséquent où ils peuvent être qualifiés de revenu, les rendements provenant de biens immatériels sont toujours imposables, que ce soit au titre de l'art. 20 al. 1 let. f LIFD ou au titre de l'art. 18 al. 1 LIFD, que le contribuable tienne, ou non, une comptabilité. Les gains en capital provenant de l'aliénation de biens immatériels ne le sont en revanche que lorsqu'ils appartiennent à la fortune commerciale du contribuable.
4. Le recourant soutient que les gains perçus sur l'aliénation de son brevet ne sauraient être imposés durant les périodes fiscales 2001/2002, 2001/2002bis, 2004 et 2005, parce que le brevet appartiendrait à sa fortune privée.
4.1 Le Tribunal cantonal et le recourant s'accordent à dire que les versements de 800'000 fr. le 23 juillet 1999, de 99'998 fr. le 24 juillet 2000 et enfin de 100'000 fr. le 26 septembre 2001 ont été exécutés en application du contrat du 27 juillet 1999, remplaçant celui du 14 décembre 1998. Contrairement au Tribunal cantonal (arrêt attaqué, p. 7 in medio, § 3) toutefois, le recourant soutient qu'il s'agissait d'un contrat de cession du brevet. Cette affirmation entre en contradiction avec les constatations du Tribunal cantonal qui lient le Tribunal fédéral (cf. consid. 2.2 ci-dessus) selon lesquelles le contrat du 27 juillet 1999 maintenait les droits du recourant sur son brevet. Elle doit donc être écartée dans la mesure où le contenu de la manifestation de volonté des parties au contrat relève du fait (ATF 135 III 410 consid. 3.2 p. 413). Le recourant reconnaît d'ailleurs que l'intention de céder ne ressort pas clairement du contrat du 27 juillet 1999, mais uniquement des contrats ultérieurs.
Dans ces conditions, le brevet appartenant au recourant n'ayant pas été aliéné (cf. consid. 3.1) par contrat du 27 juillet 1999, les rémunérations versées entre le 23 juillet 1999 et le 26 septembre 2001 ne constituent pas des gains en capital. Il n'importe dès lors pas de savoir si le droit immatériel protégé par le brevet en cause appartient, ou non, à la fortune privée du recourant. Ces rémunérations pour la cession du droit d'utiliser le brevet sont imposables dans le chapitre du recourant, que ce soit au titre de l'art. 20 al. 1 let. f LIFD ou au titre de l'art. 18 al. 1 LIFD. Par conséquent, le premier montant de 800'000 fr. est soumis à l'impôt sur le revenu du recourant pour la période fiscale 2000/2001, puisqu'il a été perçu durant les années de calcul 1998/1999. Les deux autres montants (de 99'998 fr. du 24 juillet 2000 et de 100'000 fr. du 26 septembre 2001) sont soumis à l'impôt sur le revenu du recourant pour la période fiscale 2001/2002bis en tant que revenus extraordinaires au sens de l'art. 218 LIFD, parce qu'il s'agit de revenus de fortune non périodiques (art. 218 al. 3 LIFD), ce que le Tribunal cantonal a confirmé à bon droit. Le recours est rejeté sur ce point.
4.2 Le Tribunal cantonal et le recourant sont en désaccord sur le point de savoir si les versements perçus par X._ de 130'900 fr. en 2002, 119'395 fr. en 2004 et 148'263 fr. en 2005, l'ont été en exécution des contrats des 1er novembre 2001 et 1er avril 2005. Selon le recourant, ces deux derniers contrats portaient sur la cession de son brevet.
Dans l'arrêt attaqué toutefois, le Tribunal cantonal relève que l'obligation de verser ces trois montants, calculés en fonction de décomptes de ventes de têtes optiques installées, trouve sa source dans le contrat de licence du 27 juillet 1999, dont, précise-t-il encore, les clauses financières ont été reprises dans le contrat du 1er novembre 2001. Il en voit pour preuve que E._ a elle-même intitulé ces versements "Payment licence fees to X._" et que "la modification du contrat de travail du recourant [rectifiant celui] de décembre 1998 qui stipulait que ce dernier restait propriétaire de son brevet n'est intervenue qu'en avril 2005". Le Tribunal cantonal en conclut que ces versements (de 130'900 fr. en 2002, 119'395 fr. en 2004 et 148'263 fr. en 2005) sont également des revenus de propriété immatérielle, par opposition à des gains en capital.
A cet égard, non seulement le recourant a échoué dans le grief de constatation inexacte des faits retenus par le Tribunal cantonal (cf. consid. 2.2 ci-dessus), mais encore il ne s'en prend nullement à l'appréciation du contenu des contrats ni aux faits qui en ont été déduits, sur lesquels l'arrêt attaqué fonde la qualification de revenus, par opposition à gains en capital, des trois derniers versements litigieux. Il y a lieu par conséquent de s'en tenir aux constatations de fait de l'arrêt attaqué.
Dans ces conditions, c'est à bon droit que le Tribunal cantonal a jugé que les versements (de 130'900 fr. en 2002, 119'395 fr. en 2004 et 148'263 fr. en 2005) sont soumis à l'impôt sur le revenu du recourant que ce soit au titre de l'art. 20 al. 1 let. f LIFD ou au titre de l'art. 18 al. 1 LIFD. Le recours est également rejeté sur ce point.
Il n'est par conséquent pas nécessaire d'examiner si les droits protégés par le brevet en cause appartiennent, ou non, à la fortune privée du recourant.
II. Impôt cantonal et communal
5. 5.1 La loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14) est entrée en vigueur le 1er janvier 1993. Les cantons devaient adapter leur législation aux dispositions des titres deuxième à sixième de la loi sur l'harmonisation dans les huit ans qui suivaient l'entrée en vigueur de cette loi (art. 72 LHID). En l'espèce, l'arrêt attaqué concerne l'imposition des rémunérations provenant de la propriété immatérielle, qui fait l'objet de l'art. 7 al. 1 LHID du titre deuxième de la loi sur l'harmonisation fiscale, qui est par conséquent applicable aux périodes fiscales 2001/2002 et suivantes.
5.2 L'art. 7 al. 1 LHID prévoit que l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques, en particulier le produit d'une activité lucrative dépendante ou indépendante, le rendement de la fortune y compris la valeur locative de l'habitation du contribuable dans son propre immeuble, les prestations d'institutions de prévoyance professionnelle ainsi que les rentes viagères. Les droits de la propriété immatérielle appartiennent à la fortune du contribuable. Les revenus qui en proviennent sont donc imposables soit au titre de revenu de la fortune, soit au titre de produit de l'activité lucrative indépendante, sauf s'il s'agit de gain en capital provenant de la fortune privée (cf. art. 7 al. 4 let. b LHID). Les art. 19, 21 al. 1 et 2, 23 al.1 let. f ainsi que 273 (pour les revenus extraordinaires réalisés durant les années 2001 et 2002) de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LICD/VD; RSVD 642.11) contiennent en matière d'imposition des rémunérations provenant des biens de la propriété immatérielle des dispositions conformes à la loi sur l'harmonisation fiscale et dont le contenu est comparable aux dispositions de la loi sur l'impôt fédéral direct. Par conséquent, les motifs qui conduisent à rejeter le recours en matière d'impôt fédéral direct sont également valables pour les impôts cantonaux et communaux. Il s'ensuit que le recours est également rejeté sur ce point.
6. Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct et en tant qu'il concerne l'impôt cantonal et communal des périodes fiscales 2000/2001, 2000/2001bis, 2002, 2004 et 2005.
Succombant, le recourant doit supporter un émolument judiciaire (art. 65 et 66 LTF). Il n'a pas droit à des dépens (art. 68 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct.
2. Le recours en matière de droit public est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt cantonal et communal.
3. Les frais judiciaires, arrêtés à 10'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué à la mandataire du recourant, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct.
Lausanne, le 27 janvier 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Dubey