Faits:
A. A.a X._, domicilié dans la commune de A._, a fondé en 1985 la société B._ SA, à A._, dont le but social est la recherche, le développement, la fabrication, l'ingénierie dans les domaines technique, mécanique, chimique et industriel, et toutes activités de nature à favoriser le développement de l'entreprise. En collaboration avec cette entreprise, X._ a développé et exploité un système sécurisé de prélèvement de produits toxiques. Au terme de diverses procédures judiciaires, le brevet principal n° xxx a toutefois été invalidé.
A la suite de l'invalidation du brevet, X._ a décidé de fermer son entreprise et a licencié tout son personnel. Par conventions des 14 novembre 2004 et 26 septembre 2005, X._ a accepté de revenir sur ces décisions. Il a alors quitté le conseil d'administration et la direction de la société, activités reprises par deux de ses fils. X._ s'est également séparé d'une partie des actions de B._ SA.
Selon les termes de la convention du 26 septembre 2005, X._ transmettait à la société les droits de fabrication et de commercialisation des dispositifs de prélèvement d'échantillons faisant l'objet de divers brevets et marques, dont le brevet invalidé n° xxx. Il s'engageait également à ne pas faire de concurrence à B._ SA en relation avec les brevets et marques cédés. Le transfert des droits et les engagements pris étaient conclus pour une somme de CHF 2'800'500.-, dont était déduit le montant de CHF 375'094.- correspondant à des droits de licences et des frais d'acquisition et de défense des brevets payés par B._ SA, soit un montant net de CHF 2'425'406.-. X._ s'engageait en outre à prendre à sa charge tous les frais pouvant découler des procès en cours, provisionnés à fin 2004 pour un montant de CHF 1'450'000.- dans les comptes de la société. B._ SA a versé à X._ la somme de CHF 2'609'736.- en exécution de cette convention, soit le montant convenu majoré de la TVA. A la fin de l'exercice 2005, les provisions de CHF 1'450'000.- ont été dissoutes dans les comptes de B._ SA.
A.b Le 6 juin 2006, X._ a déposé sa déclaration d'impôts cantonal et communal et d'impôt fédéral direct pour l'année 2005. Il y indiquait un revenu de CHF 163'357.- provenant d'une activité dépendante au sein de B._ SA jusqu'au 31 juillet 2005, un revenu de la fortune mobilière de CHF 3'968.-, une fortune en titres et autres placements en capitaux de CHF 2'421'575.-, et des dettes de CHF 2'731'700.-. Par décision de taxation du 7 février 2007, la Commission d'impôt de district pour la commune de A._ (ci-après l'autorité de taxation) a procédé à la taxation en suivant pour l'essentiel les indications figurant dans la déclaration d'impôt. A la suite de la réclamation de X._, l'autorité de taxation a rectifié la taxation par décision du 15 mai 2007 afin de tenir compte du nouveau statut de personne séparée et non plus mariée du contribuable. Pour 2005, le revenu net imposable était fixé à CHF 41'895.- pour les impôts cantonal et communal et CHF 41'425.- pour l'impôt fédéral direct. La fortune nette imposable se montait à CHF 20'494.-.
A.c En 2007, le Service cantonal des contributions du canton du Valais (ci-après le Service cantonal) a procédé à un contrôle des comptes de B._ SA pour les exercices 2005 et 2006. Le recours formé par B._ SA contre la décision de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après la Commission de recours) a été rejeté par arrêt du Tribunal fédéral du 18 mai 2011 (cause 2C_788/2010).
A l'occasion du contrôle des comptes de B._ SA, l'expert du Service cantonal a établi une note faisant ressortir les modalités de la sortie de X._ de la société. Cette note a été transmise à l'autorité de taxation pour les personnes physiques.
B. Le 22 octobre 2007, le Service cantonal a ouvert une procédure de rappel d'impôt à l'encontre de X._ pour les années 2004 et 2005. Par décision du 8 septembre 2009, le Service cantonal a procédé au rappel d'impôt concernant l'année 2005 pour le revenu provenant du rachat de droits de licence par B._ SA, ainsi que pour les éléments de fortune relatifs à 77 actions de B._ SA et à un compte privé auprès de la banque C._ détenus par X._. S'agissant de l'impôt sur le revenu, cette décision opérait une reprise de CHF 2'425'406.- relative au montant versé par B._ SA au contribuable en 2005. En conséquence, le revenu net imposable était fixé à CHF 2'467'301.- en matière d'impôts cantonal et communal et à CHF 2'466'831.- en matière d'impôt fédéral direct. S'agissant de l'impôt sur la fortune en matière d'impôts cantonal et communal, la fortune nette imposable atteignait CHF 1'015'385.-, soit des actifs de CHF 3'767'085.-, y compris un compte privé auprès de la banque C._ non déclaré de CHF 342'701.- et les 77 actions de B._ SA d'une valeur de CHF 652'190.- également non déclarées, et des dettes, y compris la déduction forfaitaire, de CHF 2'751'700.-.
Sur réclamation du contribuable, le Service cantonal a confirmé son premier prononcé par décision sur réclamation du 29 juin 2010.
X._ a recouru contre la décision du 29 juin 2010 auprès de la Commission de recours. Il concluait principalement à l'annulation pure et simple du prononcé pour cause d'inexistence des conditions d'un rappel d'impôt. A titre subsidiaire, il prenait des conclusions tendant à réduire le montant imposable, en particulier par la prise en compte de diverses déductions.
Par arrêt du 26 octobre 2011, notifié le 22 décembre 2011, la Commission de recours a partiellement admis le recours et fixé le revenu net imposable à CHF 924'895.- pour les impôts cantonal et communal et à CHF 924'425.- pour l'impôt fédéral direct, et la fortune nette imposable à CHF 217'365.-. Elle a considéré en substance que les conditions du rappel d'impôt étaient remplies en l'espèce, la déclaration déposée par X._ n'étant pas complète puisque, outre le compte privé auprès de la banque C._ que le contribuable avait omis de déclarer, elle n'indiquait pas en qualité de revenu le montant reçu de B._ SA, l'absence de prise en compte de ce revenu dans le cadre de la procédure de taxation étant imputable principalement à l'attitude du recourant et non à celle de l'autorité de taxation. En ce qui concerne le montant versé par B._ SA à X._, la Commission de recours a retenu qu'il s'agissait d'un revenu d'une activité lucrative accessoire exercée à titre indépendant, provenant de la vente de biens immatériels à caractère commercial et d'une indemnité relative à l'interdiction de faire concurrence, de sorte que l'ensemble du montant était imposable au titre de revenu, une provision de CHF 1'450'000.-, un montant de TVA de CHF 184'330.- et une provision pour charges sociales au taux de 9.5 %, soit CHF 92'405.-, pouvant toutefois être portés en déduction du gain en capital réalisé. Elle a enfin admis que les 77 actions de la société B._ SA faisaient également partie de la fortune commerciale et devaient par conséquent être prises en compte à leur valeur comptable.
C. Par acte du 1er février 2012, X._ dépose un recours en matière de droit public au Tribunal fédéral contre l'arrêt de la Commission de recours du 26 octobre 2011. Il conclut, à titre principal, à ce qu'il soit constaté que les conditions du rappel d'impôt ne sont pas réunies, sauf pour le compte auprès de la banque C._ au montant de CHF 342'701.- et les actions de B._ SA de CHF 38'500.- à ajouter à sa fortune imposable, sous déduction des charges TVA et AVS. A titre subsidiaire, il conclut à ce qu'il soit dit que le gain réalisé sur la vente de droits immatériels soit exempté, le solde qui correspondait à une indemnité de non concurrence étant imposable à hauteur de CHF 350'376.-, le recourant pouvant faire valoir au surplus la déduction de l'AVS par CHF 45'548.80 et de la TVA par CHF 184'330.-. A titre encore plus subsidiaire, il requiert le renvoi de la cause à la Commission de recours pour la détermination de l'assiette du revenu de l'activité indépendante provenant de la cession des droits immatériels, le tout sous suite de frais et dépens.
Le Service cantonal ainsi que l'Administration fédérale des contributions concluent au rejet du recours, sous suite de frais. La Commission de recours renvoie à l'argumentation développée dans l'arrêt attaqué et conclut également au rejet du recours, sous suite de frais.
Le recourant a déposé une ultime détermination le 5 juin 2012.
Considérant en droit:
I. Recevabilité
1. La Commission cantonale de recours a rendu une seule décision valant pour les deux catégories d'impôts (impôts cantonal et communal et impôt fédéral direct), ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours devant le Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'impôt fédéral direct (2C_124/2012), l'autre les impôts cantonal et communal (2C_123/2012). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).
2. Le recours est dirigé contre une décision rendue dans une cause de droit public (cf. art. 82 let. a LTF), par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF; art. 150 al. 2 de la loi fiscale valaisanne du 10 mars 1976 [LF/VS; RS-VS 642.1]) sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, de sorte que la voie du recours en matière de droit public est en principe ouverte (cf. aussi art. 73 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]). Le recourant a participé à la procédure devant l'instance précédente, est particulièrement atteint par la décision entreprise en tant que contribuable et a un intérêt digne de protection à son annulation ou à sa modification. Il a ainsi qualité pour recourir (cf. art. 89 al. 1 LTF). Déposé en temps utile et dans les formes requises (cf. art. 42 al. 1 et 2 et art. 100 al. 1 LTF), le recours est par conséquent recevable.
3. D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. Cependant, lorsque les dispositions de la LHID laissent une marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal est limité à l'arbitraire (cf. ATF 134 II 207 consid. 2 p. 209 s.), dont la violation doit être motivée conformément aux exigences accrues de l'art. 106 al. 2 LTF.
4. Saisi d'un recours en matière de droit public, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte, à savoir arbitrairement (cf. ATF 136 II 304 consid. 2.4 p. 313 s.), ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). A ce défaut, un état de fait divergent de celui de la décision attaquée ne peut être pris en compte. En particulier, l'autorité de céans n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF 135 II 313 consid. 5.2.2 p. 322).
L'application de ces principes empêche de prendre en compte la version des événements figurant dans le recours qui s'écarte des constatations cantonales. En effet, le recourant se contente de présenter une argumentation appellatoire, sans alléguer ni a fortiori démontrer que les faits figurant dans l'arrêt attaqué seraient manifestement inexacts ou arbitraires, ce qui n'est pas admissible.
II. Impôt fédéral direct
5. Le recourant se plaint en premier lieu d'une mauvaise application de l'art. 151 LIFD (RS 642.11), les conditions du rappel d'impôt n'étant, à son avis, pas remplies en l'espèce.
5.1 Aux termes de l'art. 151 al. 1 LIFD, lorsque des moyens de preuve ou des faits jusque là inconnus de l'autorité fiscale lui permettent d'établir qu'une taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Selon l'art. 151 al. 2 LIFD, lorsque le contribuable a déposé une déclaration complète et précise concernant son revenu, sa fortune et son bénéfice net, qu'il a déterminé son capital propre de façon adéquate et que l'autorité fiscale en a admis l'évaluation, tout rappel d'impôt est exclu, même si l'évaluation était insuffisante.
Il y a ainsi motif à rappel d'impôt lorsque l'autorité découvre des faits ou des moyens de preuve qui ne ressortaient pas du dossier dont disposait l'autorité fiscale au moment de la taxation (arrêt 2C_724/2010 du 27 juillet 2011 consid. 8.1 et les arrêts cités, in RDAF 2012 II 37). Le contribuable doit faire tout ce qui est nécessaire pour assurer une taxation complète et exacte (art. 126 al. 1 LIFD). Il doit ainsi remplir la formule de déclaration d'impôt de manière conforme à la vérité et complète (art. 124 al. 2 LIFD). Lorsque le contribuable se heurte à une incertitude quant à un élément de fait, il ne doit pas la dissimuler, mais bien la signaler dans sa déclaration. Dans tous les cas, il doit décrire les faits de manière complète et objective (arrêt 2C_879/2008 du 20 avril 2009 consid. 5.1 et les arrêts cités, in RDAF 2009 II 386). En d'autres termes, l'autorité fiscale ne doit se livrer à des investigations complémentaires au moment de procéder à la taxation que si la déclaration contient indiscutablement des inexactitudes flagrantes. Lorsque l'autorité fiscale aurait dû se rendre compte de l'état de fait incomplet ou inexact, le rapport de causalité adéquate entre la déclaration lacunaire et la taxation insuffisante est interrompu et les conditions pour procéder ultérieurement à un rappel d'impôt font défaut (arrêt 2C_104/2008 du 20 juin 2008 consid. 3.3 et les références citées). En revanche, des inexactitudes qui ne sont que décelables, sans être flagrantes, ne permettent pas de considérer que certains faits ou moyens de preuve étaient déjà connus des autorités au moment de la taxation (cf. arrêt 2C_26/2007 du 10 octobre 2007, consid. 3.2.2, in RDAF 2009 II 120). En particulier, que l'autorité de taxation puisse déduire de l'augmentation de fortune d'une année à l'autre qu'il y a eu des revenus non déclarés ne remplace pas une déclaration complète du revenu (arrêt 2P.15/2004 du 22 décembre 2004 consid. 5.3).
Le rappel d'impôt constitue la perception après coup d'impôts qui n'ont, à tort, pas été perçus dans la cadre de la procédure de taxation. Le rappel d'impôt n'équivaut pas à un nouvel examen complet de la taxation, mais ne porte que sur les points pour lesquels l'autorité fiscale dispose de nouveaux éléments (arrêt 2C_277/2008 du 26 septembre 2008 consid. 5.3). Comme le rappel d'impôt permet à l'autorité de revenir sur une décision entrée en force, il implique qu'un intérêt important justifie de modifier la taxation définitive, à savoir l'existence d'une imposition insuffisante (arrêt 2C_104/2008 du 20 juin 2008 consid. 3.3 et les références citées).
5.2 En l'espèce, le recourant ne conteste pas l'admissibilité du rappel d'impôt en ce qui concerne, d'une part, un compte privé auprès de la banque C._ non déclaré de CHF 342'701.-, et, d'autre part, la contre-valeur des actions de la société B._ SA détenues par le recourant, à savoir 77 actions d'une valeur nominale de CHF 500.-, soit un total de CHF 38'500.-. Il considère en revanche que les autorités ne pouvaient procéder à un rappel d'impôt s'agissant du montant qui lui a été versé par B._ SA en 2005, qui correspondait à la contrepartie de la transmission de ses droits sur les brevets et marques cédés et à une indemnité liée à la renonciation à exercer une activité concurrente.
La Commission de recours a retenu que le recourant n'avait pas indiqué, dans sa déclaration d'impôts déposée le 6 juin 2006, au titre de revenu, les CHF 2'609'736.- versés par la société B._ SA, un montant d'un ordre de grandeur comparable, soit CHF 2'421'575.-, étant cependant déclaré au titre de la fortune. Pour que la déclaration d'impôts eût pu être qualifiée de complète, elle aurait dû, selon l'instance précédente, mentionner le montant reçu de la société au titre de revenu, quitte à réserver le caractère imposable d'un tel revenu. De son côté, le recourant estime qu'il est pour le moins curieux que l'autorité de taxation ne se soit pas interrogée sur la variation intervenue au niveau de la fortune déclarée, celle-ci ayant triplé entre la déclaration de 2004 et celle de 2005, et qu'elle n'ait pas cherché à obtenir des justifications à ce sujet de la part du contribuable. Il estime que cette légèreté de l'autorité de taxation interrompt le rapport de causalité adéquate, de sorte que les conditions du rappel d'impôt ne sont pas remplies dans le cas d'espèce.
5.3 Il existe une abondante casuistique en relation avec l'art. 151 LIFD (cf. aussi MARTIN ZWEIFEL/HUGO CASANOVA, Schweizerisches Steuerverfahrensrecht, 2008, n° 16 ad § 26, p. 362 s.).
5.3.1 Dans une affaire comparable à la présente, où le contribuable avait déclaré le bénéfice de liquidation d'une société dont il était actionnaire dans ses éléments de fortune, mais omis de mentionner ce bénéfice comme revenu, le Tribunal fédéral avait retenu qu'il eût appartenu au contribuable, au vu de l'incertitude qui prévalait en l'occurrence, d'en informer l'autorité fiscale et non pas de renoncer purement et simplement à mentionner le bénéfice de liquidation sous la rubrique "revenu". Partant, il y avait motif à rappel d'impôt (cf. arrêt 2A.182/2002 du 25 avril 2003 consid. 3.4.1, in RDAF 2003 II 622).
5.3.2 Depuis l'arrêt 2A.182/2002 précité, la Cour de céans a examiné d'autres cas de rappel d'impôt.
Dans une affaire jugée en 2007, un contribuable avait déclaré sa participation déterminante, assortie d'un revenu inexistant, dans une société dont la valeur fiscale avait été considérée comme nulle par l'autorité fiscale. Cette dernière ayant réévalué la valeur fiscale de la société, elle a adapté la valeur de la participation dans la fortune imposable du contribuable, mais sans entreprendre des investigations complémentaires en relation avec le revenu. Le Tribunal fédéral a retenu que, dans ce cas, l'autorité fiscale aurait dû entreprendre de telles investigations et qu'elle ne pouvait par conséquent procéder à un rappel d'impôt (cf. arrêt 2A.706/2006 du 1er mars 2007). Une affaire où la contribuable retraitée avait, plusieurs années de suite, ajouté les intérêts d'un prêt à son montant initial, mais avait omis de déclarer ces intérêts au titre du revenu, a connu le même sort. Le Tribunal fédéral a jugé qu'il y avait eu une déclaration manifestement erronée de la part de la contribuable et que les autorités fiscales auraient pu, avec toute la diligence requise, effectuer les recherches nécessaires dans le cadre de la procédure ordinaire de taxation, de sorte qu'elles ne pouvaient recourir à la procédure de rappel d'impôt (cf. arrêt 2C_557/2007 du 21 décembre 2007). Le Tribunal fédéral a également conclu que le rappel d'impôt n'était pas admissible dans une affaire où le contribuable, qui avait bénéficié, sans les déclarer, d'avis de crédit importants sur un investissement, et, après avoir déclaré cet investissement sans indiquer de rendement, avait déclaré l'année suivante le même investissement pour un montant symbolique en ajoutant que l'investissement était probablement perdu, l'administrateur de fortune étant en détention préventive. La Cour de céans a considéré que, dans ces circonstances, l'autorité fiscale n'aurait pas dû se fonder sur les indications du contribuable sans procéder à des recherches complémentaires. S'étant dispensée de le faire, l'autorité ne pouvait réparer cette négligence dans une procédure en rappel d'impôt (cf. arrêt 2C_94/2010 du 10 février 2011, in RDAF 2012 II 17).
5.3.3 Dans une autre affaire jugée en 2007, des contribuables avaient porté des intérêts hypothécaires en déduction à titre privé et à titre commercial, mais apporté des explications manuscrites en dehors des cases réservées à la saisie des données. La saisie informatique n'ayant pas permis au fonctionnaire de prendre connaissance de ces éléments, le Tribunal fédéral a considéré qu'ils étaient inconnus de l'autorité et que leur découverte ultérieure permettait un rappel d'impôt (cf. arrêt 2C_26/2007 du 10 octobre 2007, in RDAF 2009 II 120). Dans une affaire où l'erreur principale avait été le fait d'un établissement bancaire qui avait établi une attestation incomplète, il a été retenu qu'on aurait pu attendre du contribuable, un ancien employé de banque, qu'il attire l'attention de l'autorité fiscale sur cette erreur (cf. arrêt 2C_254/2008 du 4 juillet 2008, in RtiD 2009 I 498). Un contribuable qui avait son domicile fiscal en Valais, avait omis de déclarer aux autorités fiscales valaisannes une opération immobilière effectuée à Genève et déclarée aux autorités fiscales genevoises. Là encore, le Tribunal fédéral a retenu que les conditions du rappel d'impôt étaient données, le contribuable devant, dans tous les cas, nonobstant sa déclaration auprès des autorités fiscales genevoises, décrire les faits de manière complète dans la déclaration fiscale destinée aux autorités valaisannes (cf. arrêt 2C_879/2008 du 20 avril 2009, in RDAF 2009 II 386). De même, dans une affaire où le caractère simulé d'un prêt était déterminant, il a été retenu que cette simulation ne découlait pas de manière évidente de l'état des participations et des prêts déposé par la contribuable, de sorte que les conditions du rappel d'impôt étaient remplies, même si l'autorité fiscale aurait pu soupçonner la présence d'une telle simulation (cf. arrêt 2C_533/2008 du 7 août 2009, in StE 2010 B 24.4.79).
5.3.4 On peut tirer de cette casuistique les conclusions suivantes. L'autorité fiscale peut en principe considérer que la déclaration d'impôt est conforme à la vérité et complète. Elle n'a pas l'obligation, en l'absence d'indice particulier, de se mettre à la recherche de renseignements supplémentaires. En vertu de la maxime inquisitoriale, l'autorité fiscale doit en revanche procéder à des investigations supplémentaires lorsqu'il ressort de manière évidente du dossier que les éléments de faits déterminants sont incomplets ou peu clairs. Dans tous les cas, la rupture du lien de causalité doit être soumise à des exigences sévères, à savoir une négligence grave de l'autorité fiscale.
5.4 L'arrêt 2A.182/2002 (cf. supra consid. 5.3.1), qui relativise fortement la portée de la maxime inquisitoriale, a été critiqué par la doctrine (cf. KLAUS A. VALLENDER/MARTIN E. LOOSER, in MARTIN ZWEIFEL/PETER ATHANAS (ÉD.), Kommentar zum Schweizerischen Steuerrecht I/2b, 2e éd. 2008, n° 9 ad art. 151 LIFD; MARKUS REICH/ROBERT WALDBURGER, Rechtsprechung im Jahr 2003, in IFF Forum für Steuerrecht 2004, p. 214 ss, 227 ss; ZWEIFEL/CASANOVA, op. cit., n° 15 ad § 26, p. 362; HUGO CASANOVA, in Commentaire romand de la LIFD, 2008, n° 11 ad art. 151 LIFD; MADELEINE SIMONEK, La jurisprudence du Tribunal fédéral rendue en 2003, in ASA 74 p. 19 ss). CASANOVA (loc. cit.) estime que, dans le cas concret, l'autorité fiscale avait fait preuve d'une négligence grave propre à interrompre le rapport de causalité adéquate, le rappel d'impôt étant ainsi exclu. REICH/WALDBURGER (op. cit., p. 228 s.) relèvent de leur côté que la qualification du bénéfice de liquidation en tant que revenu était une question de droit et non un élément de fait ou un moyen de preuve, qu'il appartenait à l'autorité fiscale d'examiner et de trancher. Dès lors que le contribuable avait, en l'espèce, fourni tous les éléments de fait pertinents, mais que l'autorité avait fait une erreur de qualification juridique, une procédure de rappel d'impôt n'était pas admissible. Une erreur de l'autorité dans l'appréciation des preuves ou dans l'application du droit ne saurait en effet conduire à un rappel d'impôt (cf. WALTER RYSER/BERNARD ROLLI, Précis de droit fiscal suisse (impôts directs), 4e éd. 2002, p. 486). D'autres auteurs estiment au contraire que l'autorité fiscale, bien qu'elle ne soit pas contrainte de se fier aux déclarations du contribuable, est autorisée à procéder à un rappel d'impôt dans ces cas. Ils relèvent qu'en raison du grand nombre de déclarations d'impôts que l'autorité fiscale doit traiter, on ne peut attendre d'elle, ne serait-ce que pour des raisons administratives, qu'elle procède à des investigations poussées (cf. FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/HANS ULRICH MEUTER, Handkommentar zum DBG, 2e éd. 2009, n° 29 ad art. 151 LIFD). Mais même ces auteurs sont d'avis que, lorsque le fait de remplir la déclaration fiscale implique, pour le contribuable, de procéder à des qualifications juridiques, et qu'il se trompe, cela ne saurait lui créer d'inconvénient lorsque l'autorité ne découvre pas l'erreur (cf. RICHNER/FREI/ KAUFMANN/MEUTER, loc. cit.).
5.5 En l'espèce, il ressort de l'arrêt attaqué, dont les constatations de fait lient la Cour de céans (cf. supra consid. 4), que le recourant a déclaré, pour l'année 2005, un revenu de CHF 163'357.- provenant d'une activité dépendante au sein de B._ SA jusqu'au 31 juillet 2005, un revenu de la fortune mobilière de CHF 3'968.-, une fortune en titres et autres placements en capitaux de CHF 2'421'575.-, et des dettes de CHF 2'731'700.-. Il n'a en revanche pas mentionné en qualité de revenu la somme de CHF 2'609'736.- qui lui avait été versée par B._ SA. Il convient d'examiner si, malgré l'absence de mention de ce montant dans le revenu imposable, le fait qu'un montant environ équivalent ait figuré dans la déclaration de la fortune du recourant est révélateur d'une inexactitude flagrante, de sorte que le Service cantonal devait se livrer à des investigations complémentaires avant de procéder à la taxation du recourant, ou s'il s'agit d'une inexactitude certes décelable, mais non flagrante, de sorte que l'on ne pourrait considérer que l'origine de ces fonds était déjà connue des autorités au moment de la taxation.
La Commission de recours a constaté que le recourant n'avait donné aucune précision, dans sa déclaration d'impôt, sur la nature et l'origine des nouveaux éléments de fortune indiqués. Il s'agit de montants ventilés sur plusieurs comptes en banque. Il n'y est ainsi à aucun moment fait allusion ni à la vente de droits immatériels ni à la contrepartie d'un engagement à ne pas faire concurrence à B._ SA. En présence de sommes versées par la société qu'il avait créée, en contrepartie d'engagements liés à son activité professionnelle, le contribuable devait, à tout le moins, signaler la nature des montants déclarés à titre de fortune dans sa déclaration d'impôt. Il ne s'agissait pas pour le recourant de qualifier lui-même ces montants sur le plan juridique, mais seulement d'indiquer, dans sa déclaration d'impôt et au titre de la fortune, l'origine et la cause des fonds reçus. En l'omettant, il a manqué à son obligation de remplir sa déclaration d'impôt de manière complète. Du point de vue de l'autorité fiscale, le montant porté à la fortune du recourant était certes considérable, mais compte tenu des dettes ressortant également de la déclaration d'impôt, la fortune nette imposable du recourant pour 2005, qui a été fixée, dans la décision sur réclamation du 15 mai 2007, à CHF 20'494.-, demeurait modeste et n'était pas de nature à attirer l'attention. En pareilles circonstances, l'inexactitude était certes décelable (cf. arrêt 2C_26/2007 du 10 octobre 2007, consid. 3.2.2, RDAF 2009 II 120), mais pas indiscutablement flagrante (cf. arrêt 2C_104/2008 du 20 juin 2008 consid. 3.3) au point de considérer que le manque d'attention de l'autorité fiscale a interrompu le rapport de causalité entre la déclaration lacunaire et la taxation qui en est résultée.
Au vu de ce qui précède, l'on doit constater que c'est bien à la suite du contrôle fiscal effectué auprès de la société B._ SA en 2007 que l'autorité fiscale a découvert l'origine du montant porté à la fortune du recourant dans sa déclaration d'impôt pour 2005. En tant qu'il conteste l'existence d'un motif de rappel d'impôt, le recours est donc infondé.
5.6 Le bien-fondé du rappel d'impôt suppose encore que la collectivité publique ait subi une perte fiscale (cf. supra consid. 5.1). Il convient donc de vérifier que le montant en cause n'a à tort pas été imposé à titre de revenu. Le recourant se plaint à cet égard d'une mauvaise interprétation de l'art. 16 al. 3 LIFD.
5.6.1 Le recourant ne conteste à juste titre pas que, dans la mesure où le montant versé par la société anonyme constitue une indemnité pour interdiction de faire concurrence, il s'agit d'un revenu imposable. L'arrêt attaqué relève que le recourant considère lui-même que la somme de CHF 1'118'548.- se rapporte à une indemnité de renonciation à faire concurrence. Une telle indemnité, qui compense la perte d'un revenu futur et répond à la définition d'indemnité obtenue lors de la renonciation à une activité au sens de l'art. 23 let. c LIFD, est en effet imposable (cf. arrêt 2A.549/2004 du 24 janvier 2005 consid. 2.1 et les références citées). C'est donc à juste titre que l'arrêt attaqué a admis le rappel d'impôt sur ce point, ce que ne conteste plus, sur le principe, le recourant devant la Cour de céans. La question de savoir quel montant doit être retenu à ce titre, celui de CHF 1'118'548.- pris en compte par la Commission de recours, ou celui de CHF 350'376.- allégué par le recourant, ne devra quant à elle être tranchée que s'il s'avère que le solde du montant reçu n'est pas imposable au titre de revenu.
5.6.2 En ce qui concerne le solde du montant versé par la société B._ SA au recourant en compensation de la cession des brevets et marques, le Service cantonal a considéré qu'il s'agissait d'un revenu de biens immatériels. L'arrêt attaqué ne retient pas cette qualification, soutenant qu'il ne s'agit pas de revenus mais d'un gain tiré de la vente de biens immatériels, ce qui est exact. Reste à examiner si ce montant tombe sous le coup de l'art. 16 al. 3 LIFD. Le recourant allègue à cet égard que la somme reçue fait partie de sa fortune privée et n'est par conséquent pas imposable. De son côté, la Commission de recours a admis que les biens immatériels cédés appartenaient à la fortune commerciale du recourant, de sorte que le gain provenant de leur vente était soumis à l'impôt sur le revenu.
5.6.3 Selon l'art. 16 al. 1 LIFD, l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques. Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables (art. 16 al. 3 LIFD). En revanche, tous les bénéfices en capital provenant de l'aliénation, de la réalisation ou de la réévaluation comptable d'éléments de la fortune commerciale font partie du produit de l'activité lucrative indépendante et sont imposables à ce titre. La fortune commerciale comprend tous les éléments de fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante (art. 18 al. 1 et 2 LIFD).
Selon la jurisprudence, le point de savoir si l'on a affaire à un gain privé en capital - non imposable sur le revenu - ou à un bénéfice commercial en capital provenant de l'exercice d'une activité lucrative indépendante - imposable sur le revenu - dépend des circonstances concrètes du cas (cf. arrêt 2A.105/2007 du 3 septembre 2007 consid. 3.2, in RDAF 2007 II 299). Font partie des revenus provenant de l'activité lucrative indépendante, selon l'art. 18 al. 2 LIFD, tous les bénéfices en capital provenant de l'aliénation, de la réalisation ou de la réévaluation comptable d'éléments de la fortune commerciale. La notion d'activité lucrative indépendante s'interprète largement (cf. arrêt 2C_455/2011 du 5 avril 2012 consid. 5.1). Seuls sont considérés comme des gains privés en capital exonérés d'impôt ceux qui sont obtenus par un particulier de manière fortuite ou dans le cadre de la simple administration de sa fortune privée. Dès que l'activité du contribuable excède ce cadre relativement étroit et est orientée dans son ensemble vers l'obtention d'un revenu, l'intéressé est réputé exercer une activité lucrative indépendante dont les bénéfices en capital sont imposables (cf. ATF 125 II 113 consid. 5 p. 120 ss; arrêt 2C_455/2011 du 5 avril 2012 consid. 5.1). Les éléments patrimoniaux utilisés pour l'accomplissement d'une activité lucrative indépendante sont pour leur part considérés comme des actifs commerciaux. En outre, le Tribunal fédéral a souligné que les actifs de la fortune commerciale demeurent commerciaux malgré l'écoulement du temps (cf. arrêt 2C_349/2009 du 16 novembre 2009 consid. 4.1.2). La notion d'activité lucrative indépendante au sens de l'art. 18 LIFD est ainsi plus large que celle de l'entreprise, du commerce ou de l'activité professionnelle, qui présupposent une unité organisée de travail et de capital (cf. ATF 125 II 113 consid. 5.b p. 120 s.; arrêt 2C_385/2011 du 12 septembre 2011 consid 2.1).
5.6.4 En l'espèce, la Commission de recours a retenu en fait, d'une manière qui lie le Tribunal fédéral (cf. supra consid. 4), les éléments suivants pour conclure que les brevets et marques cédés à B._ SA en 2005 appartenaient à la fortune commerciale du recourant. Ainsi, c'est celui-ci qui avait mené les travaux de recherche et de développement concernant les divers brevets qu'il détenait en personne et qui ont fait l'objet de la cession du 26 septembre 2005. Ces brevets ont été mis à disposition de la société et le recourant a été défrayé par B._ SA pour les droits de licence et les frais d'acquisition ainsi que de défense des divers brevets. Enfin, les travaux de recherche et de développement nécessitaient des connaissances spécifiques en rapport avec la formation d'ingénieur du recourant.
De son côté, le recourant conteste le statut d'indépendant mais n'expose pas en quoi la Commission de recours aurait mal apprécié la situation. Il se contente de relever que, dans la mesure où elle retenait la qualification de fortune commerciale ainsi que le statut d'indépendant, et en imposant l'intégralité du gain en capital, l'instance précédente aurait dû instruire sur les frais déductibles et lui permettre de faire valoir en déduction d'autres frais. La possibilité de déduire des frais sera examinée, le cas échéant, ci-après.
5.6.5 Le raisonnement de la Commission de recours est en accord avec la jurisprudence de la Cour de céans. En effet, c'est le recourant en personne qui a mené les travaux de recherche et de développement concernant les divers brevets. Ces travaux nécessitaient des connaissances spécifiques en rapport avec sa formation d'ingénieur. Les brevets ont été mis à disposition de la société créée par le recourant et celui-ci a reçu un paiement en contrepartie. Le développement et la détention des brevets poursuivaient donc un but commercial, de sorte que lesdits brevets appartenaient à la fortune commerciale du recourant. Les brevets y sont demeurés et le gain réalisé lors de leur aliénation doit être déclaré comme revenu au moment où ils ont été cédés, même si l'activité indépendante a cessé depuis lors. C'est par conséquent à juste titre que l'instance précédente a soumis la part de l'indemnité versée au recourant en contrepartie de la cession des brevets et marques à l'imposition sur le revenu et le recours doit être rejeté sur ce point.
5.7 Au vu de ce qui précède, et dès lors que toute l'indemnité reçue par le recourant en exécution de la convention du 26 septembre 2005 est imposable au titre de revenu, point n'est besoin de déterminer quelle partie relève de l'indemnité pour interdiction de faire concurrence et quelle partie est constituée de bénéfices en capital provenant de l'aliénation d'éléments de la fortune commerciale (cf. supra consid. 5.6.1).
6. Le recourant estime que la Commission de recours a violé le principe de la bonne foi en le considérant comme un indépendant dès lors que le Service cantonal lui aurait clairement manifesté que tel n'était pas le cas puisque les frais d'acquisition du brevet n'étaient pas déductibles fiscalement.
6.1 Découlant directement de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi protège le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration. Selon la jurisprudence, un renseignement ou une décision erronés de l'administration peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur, à condition entre autres que l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées (cf. ATF 137 II 182 consid. 3.6.2 et 131 II 627 consid. 6.1 p. 636 s.).
6.2 Les conditions de la protection de la bonne foi ne sont pas remplies en l'espèce. Comme l'indique le recourant, celui-ci s'est adressé au Service cantonal pour savoir si les frais de demande de brevet étaient déductibles de son revenu. Il prétend que la réponse dudit service était négative, ce qui lui permettait de conclure que l'indemnité reçue était considérée comme appartenant à sa fortune privée. Si l'autorité s'est bel et bien prononcée dans une situation concrète, celle-ci portait sur un état de fait incomplet qui ne lui permettait pas d'appréhender l'ensemble de la situation ni de se prononcer en connaissance de cause. Le recourant ne saurait par conséquent se prévaloir dans ces circonstances d'une violation du principe de la bonne foi et son recours doit être déclaré infondé sur ce point également.
7. Le recourant allègue encore que, dans la mesure où elle retenait la qualification de fortune commerciale et le statut d'indépendant, et en imposant l'intégralité du gain en capital, l'instance précédente aurait dû instruire sur les frais déductibles et lui permettre de faire valoir en déduction d'autres frais. En renonçant à instruire cette question, la Commission de recours aurait violé son droit d'être entendu.
7.1 Le droit d'être entendu, tel qu'il est garanti à l'art. 29 al. 2 Cst., comprend le droit pour la personne touchée de s'exprimer sur la cause avant qu'une telle décision ne soit rendue, de produire les preuves importantes, de consulter le dossier, d'être entendue au sujet des offres de preuves pertinentes et de participer à l'établissement des preuves essentielles, à tout le moins de s'exprimer sur le résultat de leur administration lorsqu'il est de nature à influencer la décision. Ainsi en tant que droit de participation, le droit d'être entendu comprend tous les droits conférés à une partie afin qu'elle puisse faire valoir efficacement son point de vue dans une procédure (cf. ATF 135 II 286 consid. 5.1 p. 293).
7.2 En l'espèce, il ressort de l'arrêt attaqué que la Commission de recours a adopté une argumentation juridique différente de la première instance en ce qui concerne la qualification de l'indemnité versée au recourant en contrepartie de la cession des droits immatériels. Elle a retenu qu'il s'agissait d'un gain en capital alors que le Service cantonal avait considéré qu'il s'agissait d'un revenu de biens immatériels. Ce n'est donc qu'en raison de l'argumentation de la Commission de recours que la qualification de fortune commerciale ou privée est devenue pertinente. Cependant, déjà dans sa détermination adressée au Service cantonal, puis à nouveau dans son écriture de recours ainsi que dans sa détermination du 12 août 2011 à la Commission de recours, le recourant a fait valoir, à titre éventuel, différents postes à porter en déduction de toute somme admise au titre de revenu. Or, la déduction de ces éléments - provision pour risque de procès, TVA et charges sociales - ne peut être envisagée qu'en présence d'une activité indépendante (cf. art. 27 LIFD). Force est par conséquent de constater que le recourant lui-même avait déjà envisagé cette possibilité durant la procédure devant les instances précédentes. Les éléments allégués ont par ailleurs été ensuite dûment analysés par la Commission de recours. Par ailleurs, le recourant ne fait pas valoir, devant le Tribunal fédéral, l'existence de déductions qu'il n'aurait pas déjà fait valoir en procédure cantonale. Dans ces conditions, on ne saurait retenir une violation du droit d'être entendu. Ce grief doit par conséquent également être rejeté.
7.3 En relation avec les déductions effectuées par la Commission de recours, se pose la question de savoir s'il est admissible de faire valoir de telles déductions en procédure de rappel d'impôt. Cette question est controversée en doctrine et dans la jurisprudence (cf. arrêt 2A.300/2006 du 27 février 2007 consid. 3.3, in RF 62 2007 369; HUGO CASANOVA, Le rappel d'impôt, in RDAF 1999 II 3, p. 17; VALLENDER/LOOSER, op. cit., n° 14 ad art. 151 LIFD; RICHNER/FREI/KAUFMANN/MEUTER, op. cit., n° 45 ad art. 151 LIFD). La Commission de recours a estimé qu'une correction favorable au contribuable - en l'occurrence la prise en compte de déductions découlant de provisions, de TVA et de charges sociales, ce qui diminuerait le montant du rappel d'impôt - pouvait être effectuée dans le cadre d'une procédure de rappel d'impôt. Compte tenu de l'interdiction de la reformatio in pejus (cf. art. 107 al. 1 LTF; arrêt 2C_788/2010 du 18 mai 2011, consid. 4.4), il n'y a dès lors pas lieu de vérifier le bien-fondé de cette interprétation, qui est favorable au recourant.
8. Le recourant conteste enfin le taux de 9.5 % retenu par la Commission de recours pour les charges sociales déductibles. Il allègue que c'est un taux de 13 % qui aurait dû être appliqué.
Selon les art. 8 al. 1 de la loi fédérale du 20 décembre 1946 sur l'assurance-vieillesse et survivants (LAVS; RS 831.10), 3 al. 1 de la loi fédérale du 19 juin 1959 sur l'assurance-invalidité (LAI: RS 831.20) et 27 al. 2 de la loi fédérale du 25 septembre 1952 sur les allocations pour perte de gain en cas de service et de maternité (LAPG; RS 834.1), les taux des cotisations aux assurances sociales étaient, en 2005, de respectivement 7.8 %, 1.4 % et 0.3 % pour les indépendants, soit un total de 9.5 %. Les indépendants ne cotisent par ailleurs pas à l'assurance-chômage (cf. art. 2 al. 1 let. a de la loi fédérale du 25 juin 1982 sur l'assurance-chômage obligatoire et l'indemnité en cas d'insolvabilité [LACI; RS 837.0]). C'est par conséquent à juste titre que la Commission de recours à retenu le taux de cotisation de 9.5 % et le recours doit être rejeté sur ce point également.
9. Il résulte de ce qui précède que le recours en matière de droit public est mal fondé en tant qu'il porte sur l'impôt fédéral direct pour la période fiscale 2005. Il doit donc être rejeté.
III. Impôts cantonal et communal
10. Selon les art. 53 al. 1 1ère phrase LHID et 158 al. 1 LF/VS, lorsque des moyens de preuve ou des faits jusque-là inconnus de l'autorité fiscale permettent d'établir qu'une taxation n'a pas été effectuée alors qu'elle aurait dû l'être, qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Les art. 53 al. 1 1ère phrase LHID et 158 al. 1 LF/VS ont ainsi la même teneur que l'art. 151 al. 1 LIFD. Partant, les considérations développées pour l'impôt fédéral direct trouvent à s'appliquer aux impôts cantonal et communal relatifs à la période fiscale sous examen (cf. arrêt 2C_104/2008 du 20 juin 2008 consid. 3.2).
La même règle s'applique en ce qui concerne la qualification d'un revenu comme provenant d'une activité commerciale indépendante ainsi que les déductions admises, les art. 7, 8 et 10 LHID et 12, 14 et 23 ss LF/VS contenant des règles analogues à celles prévues aux art. 16, 18 et 27 LIFD. Il suffit donc de renvoyer, s'agissant des impôts cantonal et communal, aux considérants relatifs à l'impôt fédéral direct (cf. arrêt 2C_276/2010 du 19 octobre 2010 consid. 5).
Dans ces conditions, il y a lieu de rejeter également le recours en matière de droit public en ce qu'il concerne les impôts cantonal et communal pour la période fiscale 2005.
IV. Frais et dépens
11. Succombant en tous points, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 2C_123/2012 et 2C_124/2012 sont jointes.
2. Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
3. Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal.
4. Les frais judiciaires, arrêtés à CHF 6'000.-, sont mis à la charge du recourant.
5. Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions et à la Commission cantonale de recours en matière fiscale du canton du Valais ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 8 août 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti