Faits: A. X._ (ci-après: l'intéressé), domicilié à A._, exerce à titre principal une activité indépendante de médecin-dentiste à B._ qui produit un revenu avant déduction sociale d'environ 700'000 fr. pour chacune des années 2003 à 2006. Il était propriétaire pour moitié des locaux abritant le restaurant Y._ à C._, exploité jusqu'en 2002 par D._ Sàrl, société dans laquelle il détenait aussi une participation. Dès le mois de décembre 2002, après la liquidation de la société D._ Sàrl, X._ a racheté l'autre part des locaux et repris l'exploitation en raison individuelle du café-restaurant en sus de son activité de médecin-dentiste jusqu'au 31 décembre 2006. Il ressort du rapport d'expertise établi le 31 octobre 2007 par le Service cantonal des contributions du canton du Valais portant sur la comptabilité des deux activités lucratives de X._ durant les années 2003 à 2006 que le restaurant accusait des pertes insolites (132'908 fr. en 2003, 181'171 fr. en 2004, 112'985 en 2005 et 128'749 fr. en 2006) pour un chiffre d'affaires peu élevé (164'971 fr. 65 en 2003, 161'308 fr. 75 en 2004, 60'751 fr. 67 en 2005 et 65'706 fr. 32 en 2006) et que les salaires du personnel représentant 139'321 fr. 05 en 2003, 170'683 fr. 15 pour 2004, 76'212' fr. 40 pour 2005 et 85'992 fr 95 en 2006 étaient disproportionnés. Le rapport constatait aussi que la comptabilité n'était pas probante et que les marges brutes étaient fluctuantes et hors normes (60,5% pour 2003, 46,5% pour 2004, 60% pour 2005 et 54,6% pour 2006). Il proposait de ne pas admettre les pertes comptabilisées. Par bordereaux d'impôt notifiés le 4 novembre 2008, la Commission d'impôt de district de B._ a admis le 50% des pertes résultant de l'exploitation du café-restaurant et fixé le revenu net imposable en matière d'impôt cantonal et communal à 407'504 fr. pour 2003, 342'619 fr. pour 2004, 498'142 fr. pour 2005 et à 561'366 fr. pour 2006 et en matière d'impôt fédéral direct à 407'014 fr. pour 2003, 342'139 fr. pour 2004, à 495'372 fr. pour 2005 et à 556'936 fr. pour 2006. Par décision sur réclamation du 13 février 2009, la Commission d'impôt de district a rejeté les réclamations déposées par X._ contre les bordereaux du 4 novembre 2008. Le 13 mars 2009, X._ a recouru contre la décision sur réclamation du 13 février 2009 auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours). B. Par décision du 24 février 2010, la Commission de recours a partiellement admis le recours et fixé le revenu imposable de X._ en matière d'impôt cantonal et communal à 347'562 fr. pour 2003, 317'981 fr. pour 2004, 478'179 fr. pour 2005 et 543'196 fr. pour 2006 et en matière d'impôt fédéral direct à 347'072 fr. pour 2003, 317'501 fr. pour 2004, 475'429 fr. pour 2005 et 538'766 fr. pour 2006. Selon elle, l'activité de ce dernier était bien une activité lucrative indépendante. En revanche, comme la comptabilité n'avait pas de valeur probante, il fallait fixer le revenu par estimation en retenant une marge brute de 64%. C. Agissant par la voie du recours en matière de droit public en matière d'impôt fédéral direct ainsi qu'en matière d'impôts cantonal et communal, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision rendue le 24 février 2010 par la Commission de recours en tant qu'elle constate que la comptabilité n'est pas probante et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recourant conteste le caractère non probant de sa comptabilité ainsi que le droit pour l'autorité fiscale de procéder par estimation. La Commission de recours et le service cantonal des contributions du canton du Valais ainsi que l'Administration fédérale des contributions concluent au rejet du recours sous suite de frais.