Faits : A. A.a. X._ est actif dans le commerce de vins. Il a créé en 1995 une société à responsabilité limitée qui, en 1999, a été transformée en société anonyme sous la raison sociale X._ SA puis A.X._ SA. En 2003, X._ a constitué plusieurs sociétés, dont B._ AG à Zoug. En mai 2004, la société C._ a été constituée aux Iles Vierges Britanniques. Un compte bancaire a été ouvert au nom de cette société auprès de la banque D._. X._ n'apparaissait ni comme administrateur, ni comme détenteur d'un droit de signature de C._, qu'il ne reportait pas non plus dans ses déclarations d'impôts. Il a toutefois admis en être le réel et unique bénéficiaire économique. En 2003 et 2004, X._ et son épouse ont été taxés d'office. De 2005 à 2010, ils ont été imposés sur la base des déclarations fiscales déposées. Les décisions de taxation des périodes 2003 à 2010 sont entrées en force. Lors d'un contrôle effectué en 2009 auprès de A.X._ SA, la Division "Contrôle externe" de l'Administration fédérale des contributions a relevé des irrégularités dans les comptes de cette société en lien avec X._ et a communiqué, le 7 octobre 2010, les informations qu'elle avait obtenues au Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal ou SCC). Le 26 novembre 2010, celui-ci a transmis les dossiers concernant A.X._ SA et X._ à la Division des affaires pénales et enquêtes de l'Administration fédérale des contributions (ci-après: la DAPE), qui a ouvert, le 14 juillet 2011, une enquête à leur encontre. Le 30 octobre 2012, le Service cantonal a ouvert une procédure en rappel d'impôts relative aux périodes fiscales 2001/2002 à 2010 puis, le 15 novembre 2012, une procédure en soustraction fiscale à l'encontre de X._. A.b. Le 27 août 2013, la DAPE a rendu des rapports concernant X._ et A.X._ SA. Elle y retient que des soustractions fiscales ont été commises au travers des sociétés créées par X._, par l'établissement de fausses factures, qui ont permis la réalisation de revenus n'apparaissant dans aucune comptabilité. X._ faisait en particulier établir de fausses factures par le comptable de A.X._ SA, encaissait les montants et les reversait sur le compte bancaire ouvert auprès de la banque D._ au nom de C._, après avoir fait annuler les factures émises. De la sorte, les revenus réalisés n'apparaissaient ni dans la comptabilité, ni sur les comptes bancaires de A.X._ SA. Le même schéma avait été utilisé par l'intermédiaire de B._ AG, et les montants encaissés avaient aussi été versés sur le compte bancaire de C._. Les transferts de fonds étaient effectués principalement en espèces par X._. Les montants étaient ensuite partiellement redirigés, sous couvert de prêts octroyés par C._, sur les comptes de diverses sociétés contrôlées par X._ ou, ponctuellement, à X._ lui-même. X._ avait également procédé à l'achat et à la vente de vin "au noir", réutilisant une partie des fonds détournés pour effectuer des paiements de marchandises et pour reverser les bénéfices réalisés sur le compte bancaire de C._. A.c. Après des échanges de correspondance et des entretiens avec les contribuables, certains éléments du rapport de la DAPE ont été rectifiés par le Service cantonal. Les éléments soustraits par les époux X._ finalement retenus par le Service cantonal ont été synthétisés comme suit: Éléments soustr aits (fr.) DAPE SCC 2003 Activités indépendantes 2'675'943 1'732'389 2004 Activités indépendantes 1'418'551 1'399'529 2005 Activités indépendantes et rendements titres 1'741'766 1'425'782 2006 Rendements titres 933'941 806'246 2007 Rendements titres 2'166'693 2'874'027 2008 Rendements titres 1'886'761 804'321 2009 Rendements titres 2'335'514 1'616'026 2010 Rendements titres 35'130 35'130 Revenu soustrait 13'194'299 10'693'450 Le 3 avril 2014, le Service cantonal a notifié aux époux X._ des bordereaux de rappels d'impôts pour les impôts cantonaux, communaux et fédéraux des périodes fiscales 2003 à 2010. Le montant total des impôts rappelés s'élevait à 3'604'490 francs. X._ et son épouse ont contesté en vain ces bordereaux de rappels d'impôts par la voie de la réclamation puis du recours auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours) qui, par jugement du 25 mars 2015, les a confirmés. Par arrêt du 26 août 2016 (cause 2C_445/2015), le Tribunal fédéral a rejeté le recours que les contribuables ont formé contre le jugement de la Commission de recours du 25 mars 2015, confirmant entièrement les reprises effectuées dans le chef des époux X._ pour les périodes fiscales 2003 à 2010. B. B.a. Par ordonnance pénale datée du 16 juillet 2014, le Ministère public vaudois a reconnu X._ coupable d'usage de faux et l'a condamné à une peine pécuniaire de 180 jours-amende avec sursis pendant deux ans, un jour-amende valant 300 fr. (art. 105 al. 2 LTF). L'ordonnance pénale mentionne ce qui suit (art. 105 al. 2 LTF) : "X._, directeur et président du conseil d'administration de A.X._ SA, a produit, à l'appui des déclarations d'impôts de cette entité concernant les exercices fiscaux 2005 à 2009, des états financiers inexacts, en ce sens essentiellement que des revenus avaient été sciemment omis. A cela s'ajoute que, pour parvenir à ses fins, X._ a établi des fausses factures (...). En transmettant ou faisant transmettre cette documentation erronée à l'autorité fiscale, X._ a ainsi fait usage de titres faux." X._ n'a pas contesté cette ordonnance pénale, qui est partant entrée en force. B.b. La procédure en soustraction fiscale qui avait été ouverte par le Service cantonal à l'encontre de X._ a abouti, le 21 juillet 2014, à des prononcés d'amendes pour l'impôt cantonal et communal et pour l'impôt fédéral direct des périodes fiscales 2003 à 2010. Le Service cantonal a infligé à X._ une amende correspondant à un tiers des impôts soustraits. Cela représentait un montant total de 1'200'000 fr. : Le 21 août 2014, X._ a élevé réclamations contre ces amendes, que le Service cantonal a rejetées (décisions sur réclamations du 9 septembre 2015). Le 12 octobre 2015, le contribuable a recouru contre ces décisions sur réclamations auprès de la Commission de recours. B.c. Le 29 avril 2016, X._ a été entendu par la Commission de recours. A cette occasion, il a notamment invoqué le principe "ne bis in idem", en se référant à une décision rendue en matière de TVA le 30 janvier 2015, ainsi qu'à l'ordonnance pénale précitée du 16 juillet 2014 du Ministère public vaudois (art. 105 al. 2 LTF). A la demande de la Commission de recours, X._ lui a fait parvenir, le 12 mai 2016, ces deux décisions (art. 105 al. 2 LTF). Le 15 septembre 2016, la Commission de recours a informé X._ qu'une reformatio in pejus des amendes était possible et lui a imparti un délai échéant au 10 octobre 2016 pour se déterminer sur ce point. Le 6 octobre 2016, l'intéressé a sollicité une prolongation de trente jours de ce délai, ce que la Commission de recours a refusé, en lui accordant un délai de grâce de trois jours. Le 14 octobre 2016, X._ a retiré son recours. Par jugement du 16 novembre 2016, la Commission de recours a procédé à une reformatio in pejus des amendes prononcées, en appliquant au montant total des impôts soustraits (3'604'490 fr.) un coefficient de 2. L'amende totale qui en découlait s'élevait désormais à 7'208'980 fr. (3'604'490 fr. x 2) au lieu du montant de 1'200'000 fr. qui avait été fixé par le Service cantonal en application d'un coefficient d'un tiers. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, principalement, d'annuler la décision du 16 novembre 2016 de la Commission de recours avec renvoi éventuel de la cause à la Commission de recours ou à l'autorité inférieure pour nouvelle décision dans le sens des considérants; subsidiairement, de réformer la décision entreprise en ce sens qu'aucune amende pour soustraction fiscale ne soit prononcée à son encontre; plus subsidiairement, de réformer la décision entreprise en ce sens que les amendes prononcées à son encontre n'excèdent pas 1'200'000 fr. La Commission de recours renvoie à la décision entreprise et conclut au rejet du recours. L'Administration fédérale des contributions s'est déterminée. Sans prendre de conclusions, elle invite le Tribunal fédéral à examiner si les juges cantonaux n'ont pas excédé leur pouvoir d'appréciation en multipliant par six le montant de l'amende fixé par le Service cantonal. Ce dernier s'est aussi déterminé. Il expose le raisonnement qu'il a suivi pour fixer l'amende à un tiers du total des impôts soustraits et relève que l'application de ce coefficient emporte toujours sa conviction. Le recourant a déposé d'ultimes observations. Par ordonnance du 20 février 2018 (cause 6B_133/2018), la Cour de droit pénal du Tribunal fédéral a rejeté la demande de jonction de la cause 6B_133/2018, ouverte à la suite du recours que X._ a interjeté contre le jugement rendu le 15 décembre 2017 par le Tribunal cantonal du Valais en matière de TVA, avec la présente procédure.