Faits : A. X._ SA (ci-après: X._), dont le siège est dans le canton de Fribourg, est administrée par A._. X._ est propriétaire d'un chalet à B._ dans le canton du Valais. Jusqu'en 2008, X._ enregistrait dans ses comptes des loyers en provenant, en dernier lieu pour 2007, 42'729 fr. Dès 2008, seules les dépenses consenties pour le chalet ont été comptabilisées, soit 7'926 fr. pour 2008, 25'541 fr. pour 2009, 11'957 fr. pour 2010 et 8'792 fr. pour 2011. Lors de la taxation des périodes fiscales 2008 à 2011, le service cantonal des contributions du canton du Valais a repris une valeur de 24'000 fr. pour le chalet et de 1'200 fr. pour les deux garages. Elle a ensuite déterminé le bénéfice imposable global et la part revenant au canton du Valais. Le 1er mars 2013, le Service cantonal des contributions du canton du Valais a rejeté les réclamations déposées par X._ contre les décisions de taxation valaisannes pour les périodes fiscales 2008 à 2011. Le 25 mars 2013, X._ a interjeté recours contre la décision sur réclamation du 1er mars 2013 auprès de la Commission de recours en matière d'impôt du canton du Valais. B. Par arrêt du 20 novembre 2013, notifié le 13 mars 2014, la Commission de recours a admis le recours, annulé la décision sur réclamation du 1er mars 2013 et renvoyé la cause pour nouvelles décisions au sens des considérants. Le droit fiscal ne connaissait pas la notion de valeur locative pour les immeubles en propriété de personnes morales ni l'obligation pour ces dernières d'avoir une gestion optimale de leurs actifs. La contribuable pouvait renoncer à percevoir des loyers. Enfin, ni l'instruction complémentaire portant sur le détail des charges comptabilisées dans les comptes des périodes fiscales en cause ni l'autorité intimée n'avaient apporté la preuve de l'existence d'une prestation appréciable en argent que la contribuable aurait consentie à des actionnaires ou des proches. C. Agissant par la voie du recours en matière de droit public, le Service cantonal des contributions du canton du Valais demande au Tribunal fédéral d'annuler l'arrêt rendu le 20 novembre 2013. Il soutient que X._ devait faire tout ce qui est nécessaire pour obtenir, dans la mesure du possible une juste rémunération du capital investi, que la renonciation à l'encaissement de tout loyer était insolite et avait pour but de laisser le chalet à la libre disposition de ses actionnaires. Il était inexact de déduire des dépenses consenties notamment en 2010 alors que le chalet n'avait pas été occupé. Enfin, lorsqu'un immeuble est occupé par une société holding, l'imposition devait intervenir sur la base d'un rendement théorique. X._ conclut au rejet du recours sous suite de frais et dépens. La Commission cantonale de recours en matière fiscale conclut aussi au rejet du recours.