Faits : A. A._ est domicilié en Valais. Il détient un parc immobilier qu'il exploite en raison individuelle avec l'aide d'employés qui oeuvrent aux divers travaux effectués sur les immeubles. En 2003, il a acquis l'immeuble X._ à B._, d'une surface de 7'011 m2, pour le prix de 1'150'000 fr. Entre les années 2003 et 2012, des travaux d'un montant de 3'000'000 fr. ont été entrepris. Les factures ont été réparties selon qu'il s'agissait d'entretien ou d'investissement, ce qui aboutissait à une part de déduction proche de 70% en 2009 et 2010, de 100% en 2011 et de 64% en 2012. En 2010, il a acquis l'immeuble Y._ à C._ pour le prix de 1'500'000 fr. Cet immeuble d'une surface de 5'216 m2 abritait les activités commerciales de la coopérative Y._. Une partie du bâtiment a été immédiatement louée à la coopérative. Une rénovation en vue de louer tout l'immeuble a été planifiée pour les années 2013 et suivantes. Au cours des années 2011 et 2012, divers travaux portant sur le toit et l'intérieur ont été effectués. Pour la période fiscale 2011, une part de 57% des frais a été activée, qui correspondait à l'entier des salaires versés par la raison individuelle. La part de 43% restante, soit 54'327 fr., a été admise en déduction à titre de frais d'entretien. Pour la période fiscale 2012, une part de 90% des frais, qui correspondait aux coûts des études menées par des ingénieurs et des architectes, a été activée. Un amortissement de 7% pour chaque période a été comptabilisé. B. Se fondant sur une expertise des comptes 2009 à 2012 de la raison individuelle établie par son inspectorat fiscal, le Service cantonal des contributions du canton du Valais a notifié au contribuable, le 12 février 2015, des décisions de rappels d'impôts pour les périodes fiscales 2009 à 2012. En lien avec l'immeuble X._, il a repris au titre de plus-values 353'034 fr. pour 2009, 432'352 fr. pour 2010 et 360'763 fr. pour 2011 ainsi que des parts de salaire de 132'332 fr. pour 2011 et de 94'975 fr. pour 2012. L'expert a considéré que le 90% des frais engagés dans l'immeuble X._ représentait des plus-values et seul le 10% des frais d'entretien. En lien avec l'immeuble Y._, il a repris au titre d'amortissement non admis et de plus-values 167'487 fr. pour 2011 et 126'005 fr. pour 2012. Par décisions sur réclamations du 17 octobre 2016, après plusieurs échanges de courriers et une entrevue avec le contribuable, le Service cantonal des contributions a partiellement admis la réclamation déposée par le contribuable pour les périodes fiscales 2009 à 2012. Considérant que les pièces figurant au dossier ne permettaient pas de ventiler de manière claire les frais d'entretien déductibles et les dépenses apportant une plus-value, il a décidé que seule une part (comprenant l'amortissement) de 30% pour chaque période fiscale devait être considérée comme des frais d'entretien justifiés commercialement. Les reprises sur les immeubles étaient par conséquent rectifiées comme suit: Repr. sur le revenu en fr. 2009 2010 2011 2012 Immeuble Y._ 112'740 au lieu de 167'487 83'703 au lieu de 126'005 Immeuble X._ 274'582 au lieu de 353'034 336'273 au lieu de 432'352 383'518 au lieu de 493'095 73'869 au lieu de 94'975 C. Par arrêt du 23 mai 2019, la Commission de recours en matière fiscale du canton du Valais a partiellement admis le recours que le contribuable avait déposé contre les décisions sur réclamations rendues le 17 octobre 2016 par le Service cantonal des contributions du canton du Valais et a renvoyé la cause à ce dernier pour nouvelles décisions dans le sens des considérants. S'agissant de l'immeuble Y._, elle a jugé que la méthode de ventilation du contribuable devait être privilégiée à la méthode forfaitaire de l'autorité intimée pour la période fiscale 2011 et admis un amortissement de 7% pour les périodes fiscales 2011 et 2012. S'agissant de l'immeuble X._, elle a considéré que l'achat de l'immeuble avait eu lieu à bas prix en 2003 lors d'une faillite et qu'après une période d'inoccupation de 13 ans, le contribuable l'avait vidé pour procéder à une rénovation complète. La ventilation du contribuable entre dépenses d'entretien et de plus-values n'étant pas convaincante, elle a jugé que la proportion de 30% retenue par l'autorité intimée se justifiait parce qu'elle correspondait à la proportion entre le prix d'achat de 1'150'000 fr. et les frais de transformation de 3'000'000 fr. Il fallait également prendre en considération 30% des salaires activés à hauteur de 161'657 fr. pour 2009 et de 177'863 fr. pour 2010. Les reprises s'élevaient ainsi à 226'085 fr. pour 2009, 282'914 fr pour 2010, 383'518 pour 2011 et 73'869 fr. pour 2012. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt rendu le 23 mai 2019 par la Commission de recours en matière fiscale du canton du Valais en tant qu'il concerne l'immeuble X._ tant pour l'impôt fédéral direct que pour l'impôt cantonal en fixant le pourcentage des frais d'entretien déductibles conformément aux déclarations déposées. Il se plaint de l'établissement arbitraire des faits, de la violation de son droit d'être entendu ainsi que de la violation du droit fédéral en matière de déduction des frais d'entretien d'immeuble. Le Service cantonal des contributions a conclu au rejet du recours, après avoir expliqué pourquoi les factures relatives aux travaux effectués sur l'immeuble X._ ne pouvaient pas être ventilées en plus-values ou frais d'entretien. La Commission cantonale de recours en matière fiscale n'a pas déposé d'observations. L'Administration fédérale des contributions a conclu au rejet du recours. Le contribuable a dupliqué.