Faits : A. La société valaisanne A._ SA (ci-après: A._ ou la Société) est une société holding ayant pour but la détention de participations. Le vice-président du Conseil d'administration, B._, détenait 28% des actions nominatives avec droit de vote privilégié et 6,3% des actions au porteur, alors que C._ était propriétaire de 3,5% des actions au porteur de la Société. A._ détenait la totalité du capital-actions de D._ SA, qui a pour but l'exploitation d'une pharmacie à E._. Au début de l'année 2006, le capital-actions de D._ SA se montait à 900'900 fr. et était composé de 2'772 actions au porteur d'une valeur nominale de 325 fr. Ce capital-actions a été réduit à 450'000 fr. par remboursement aux actionnaires à concurrence de 450'900 francs. Depuis cette réduction inscrite au registre du commerce le 7 septembre 2006, le capital-actions de D._ SA s'élève à 450'000 fr. et est constitué de 4'500 actions de valeur nominale de 100 francs. B._ est le président du Conseil d'administration de D._ SA depuis sa fondation, en 1997, et C._ administrateur depuis juillet 2002. Depuis l'année 2000, A._ a entrepris un processus de vente de diverses participations. Le 4 juillet 2006, son Conseil d'administration a décidé, contre l'avis de B._, de vendre le capital-actions de D._ SA à F._ SA pour le prix de 2'049'100 fr. A._ est toutefois revenue sur sa décision le 10 août 2006 pour céder cette participation à G._ au prix de 2'080'000 fr., soit 462.22 fr. par action. Une convention de cession d'actions a été conclue en ce sens le 29 août 2006. Le 31 août 2006, G._ a conclu un contrat de prêt avec B._ et C._, par lequel ces derniers lui ont accordé chacun un prêt de 190'000 fr. Ce contrat était complété par deux actes de nantissement portant chacun sur 1'170 actions de D._ SA et précisant qu'à l'échéance des prêts, lesquels étaient conclus pour une durée de six mois, G._ aurait la possibilité de procéder au remboursement par la remise des titres nantis aux prêteurs. Le 28 décembre 2006, G._ a vendu à H._, un pharmacien employé de D._ SA, 10% du capital-actions de cette dernière pour un prix de 360'000 fr., soit 800 fr. par action. Le 8 février 2007, G._ a remboursé B._ et C._ par la remise des titres nantis de D._ SA. Rapportée au montant total des prêts qui lui avaient été accordés (380'000 fr.), cette remise représentait une valeur par action de 162.39 fr. Entre 2007 et 2008, G._ a vendu à des tiers 24% du capital-actions de D._ SA pour un prix de 800 fr. par action. Le 17 décembre 2009, G._, B._ et C._ ont signé une convention qui explicite ce qu'avaient voulu les parties en 2006 en relation avec les transactions opérées sur D._ SA. Il en ressort que B._ et C._ avaient souhaité acquérir les actions de D._ SA sans fournir eux-mêmes l'entier des fonds nécessaires à cet effet et que G._ avait été d'accord d'investir dans cette société à la condition que son investissement soit garanti et qu'il puisse réaliser un rendement financier approprié. Dès lors, les parties avaient convenu que G._ financerait l'acquisition de l'entier du capital-actions de D._ SA par ses propres moyens et par deux prêts accordés par B._ et C._, que ces derniers acquerraient ensuite de G._ chacun 26% des actions de D._ SA pour un prix de 162.39 fr. par action, garantissant à ce dernier qu'il pourrait vendre les actions restantes pour un prix de l'ordre de 800 fr. par action et qu'en cas de prix inférieur, ils en supporteraient la différence. En 2010, B._ et C._ ont racheté à G._ le solde des actions qu'il détenait encore (soit 14% du capital-actions) au prix de 800 fr. par action. B. Le 29 avril 2011, le Service des contributions du canton du Valais (ci-après le Service cantonal) a ouvert une procédure de rappel d'impôt à l'encontre de A._ pour l'année fiscale 2006. Par décision du 29 décembre 2011, il a retenu l'existence d'une prestation appréciable en argent de 1'520'000 fr. en relation avec la vente du capital-actions de D._ SA à G._. Ce montant était obtenu par la différence entre la valeur vénale de D._ SA, évaluée à 3'600'000 fr. sur la base du prix de 800 fr. par action (800 fr. x 4'500 actions), et le prix 2'080'000 fr. payé par G._. La réclamation élevée par A._ à l'encontre de la décision du 29 décembre 2011 a été rejetée par le Service cantonal le 9 octobre 2012. Contre cette décision sur réclamation, la Société a interjeté recours auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après la Commission de recours), qui a admis le recours et annulé la décision du 9 octobre 2012 du Service cantonal. Cette autorité a estimé que le prix de 2'080'000 fr. n'était vraisemblablement pas inférieur à la valeur vénale ordinaire de D._ SA et a de ce fait exclu l'existence d'une prestation appréciable en argent en relation avec la vente de cette société à G._. C. Le 18 novembre 2013, le Service cantonal a déposé un recours en matière de droit public contre l'arrêt du 18 septembre 2013 de la Commission de recours, portant tant sur l'impôt fédéral direct (ci-après: IFD) que sur l'impôt cantonal et communal (ci-après: ICC). Il conclut principalement à la confirmation de sa décision sur réclamation du 9 octobre 2012 et subsidiairement au renvoi du dossier à la Commission de recours pour nouvelle décision. Par acte du même jour, l'Administration fédérale des contributions (ci-après: l'AFC) a également déposé un recours en matière de droit public contre l'arrêt du 18 septembre 2013, concluant à son annulation en tant qu'il porte sur l'IFD et à la confirmation du rappel d'impôt prononcé par le Service cantonal à l'encontre de A._. Le 7 janvier 2014, le Service cantonal s'est rallié au recours déposé par l'AFC et a conclu à son admission. Le 13 janvier 2014, A._ s'est déterminée sur les recours et a conclu à leur rejet, sous suite de frais et dépens. Le 10 février 2014, la Commission de recours a déposé des observations sur les recours et a proposé de les rejeter. Le 11 mars 2014, l'AFC a déposé d'ultimes observations.