Faits:
A. X._ (ci-après: l'intéressé), domicilié à A._, exerce à titre principal une activité indépendante de médecin-dentiste à B._ qui produit un revenu avant déduction sociale d'environ 700'000 fr. pour chacune des années 2003 à 2006. Il était propriétaire pour moitié des locaux abritant le restaurant Y._ à C._, exploité jusqu'en 2002 par D._ Sàrl, société dans laquelle il détenait aussi une participation. Dès le mois de décembre 2002, après la liquidation de la société D._ Sàrl, X._ a racheté l'autre part des locaux et repris l'exploitation en raison individuelle du café-restaurant en sus de son activité de médecin-dentiste jusqu'au 31 décembre 2006.
Il ressort du rapport d'expertise établi le 31 octobre 2007 par le Service cantonal des contributions du canton du Valais portant sur la comptabilité des deux activités lucratives de X._ durant les années 2003 à 2006 que le restaurant accusait des pertes insolites (132'908 fr. en 2003, 181'171 fr. en 2004, 112'985 en 2005 et 128'749 fr. en 2006) pour un chiffre d'affaires peu élevé (164'971 fr. 65 en 2003, 161'308 fr. 75 en 2004, 60'751 fr. 67 en 2005 et 65'706 fr. 32 en 2006) et que les salaires du personnel représentant 139'321 fr. 05 en 2003, 170'683 fr. 15 pour 2004, 76'212' fr. 40 pour 2005 et 85'992 fr 95 en 2006 étaient disproportionnés. Le rapport constatait aussi que la comptabilité n'était pas probante et que les marges brutes étaient fluctuantes et hors normes (60,5% pour 2003, 46,5% pour 2004, 60% pour 2005 et 54,6% pour 2006). Il proposait de ne pas admettre les pertes comptabilisées.
Par bordereaux d'impôt notifiés le 4 novembre 2008, la Commission d'impôt de district de B._ a admis le 50% des pertes résultant de l'exploitation du café-restaurant et fixé le revenu net imposable en matière d'impôt cantonal et communal à 407'504 fr. pour 2003, 342'619 fr. pour 2004, 498'142 fr. pour 2005 et à 561'366 fr. pour 2006 et en matière d'impôt fédéral direct à 407'014 fr. pour 2003, 342'139 fr. pour 2004, à 495'372 fr. pour 2005 et à 556'936 fr. pour 2006.
Par décision sur réclamation du 13 février 2009, la Commission d'impôt de district a rejeté les réclamations déposées par X._ contre les bordereaux du 4 novembre 2008.
Le 13 mars 2009, X._ a recouru contre la décision sur réclamation du 13 février 2009 auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours).
B. Par décision du 24 février 2010, la Commission de recours a partiellement admis le recours et fixé le revenu imposable de X._ en matière d'impôt cantonal et communal à 347'562 fr. pour 2003, 317'981 fr. pour 2004, 478'179 fr. pour 2005 et 543'196 fr. pour 2006 et en matière d'impôt fédéral direct à 347'072 fr. pour 2003, 317'501 fr. pour 2004, 475'429 fr. pour 2005 et 538'766 fr. pour 2006. Selon elle, l'activité de ce dernier était bien une activité lucrative indépendante. En revanche, comme la comptabilité n'avait pas de valeur probante, il fallait fixer le revenu par estimation en retenant une marge brute de 64%.
C. Agissant par la voie du recours en matière de droit public en matière d'impôt fédéral direct ainsi qu'en matière d'impôts cantonal et communal, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision rendue le 24 février 2010 par la Commission de recours en tant qu'elle constate que la comptabilité n'est pas probante et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recourant conteste le caractère non probant de sa comptabilité ainsi que le droit pour l'autorité fiscale de procéder par estimation.
La Commission de recours et le service cantonal des contributions du canton du Valais ainsi que l'Administration fédérale des contributions concluent au rejet du recours sous suite de frais.

Considérant en droit:
1. L'arrêt attaqué constitue une décision finale rendue dans une cause de droit public par une autorité supérieure de dernière instance cantonale qui concerne à la fois l'impôt fédéral direct et l'impôt cantonal harmonisé, ce qui est admissible du moment que la notion et les conditions pour procéder à une taxation d'office sont identiques pour les deux catégories d'impôts (arrêt 2A.113/2005 du 16 septembre 2005 in StE 2005 B 96.22 n° 3, consid. 3 non publié aux <ref-ruling>). Par conséquent, déposé en temps utile par le destinataire de l'arrêt attaqué, qui a un intérêt digne de protection à l'annulation ou à la modification de celui-ci, le présent recours en matière de droit public est en principe recevable en vertu des <ref-law>, 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 73 al. 1 de la loi du 14 décembre 1990 sur l'harmonisation des impôts cantonaux et communaux (LHID; loi sur l'harmonisation fiscale; RS 642.14). Il est aussi conforme à la jurisprudence qui autorise le dépôt d'un seul acte de recours, lorsqu'il ressort clairement du mémoire, comme en l'espèce (cf. mémoire de recours, p. 12), que le recourant s'en prend aux deux catégories d'impôts (cf. <ref-ruling> ss).
I. Impôt fédéral direct
2. 2.1 D'après l'art. 130 al. 1 et 2 LIFD, l'autorité de taxation contrôle la déclaration d'impôt et procède aux investigations nécessaires. Elle effectue la taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou que les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Elle peut prendre en considération les coefficients expérimentaux, l'évolution de fortune et le train de vie du contribuable. Selon l'<ref-law> en outre, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuve.
Par la voie de la réclamation, le contribuable taxé d'office peut contester la réalisation des conditions qui ouvrent à l'autorité fiscale le droit de taxer d'office ainsi que le montant des éléments imposables, pour autant qu'il prouve le caractère manifestement inexact de la taxation (arrêts 2A.657/2005 du 9 juin 2006 in RF 62/2007, p. 44, consid. 2; 2A.442/2001 du 19 juin 2002, consid. 2.2).
2.2 En l'espèce, l'autorité précédente a tenu pour établi le fait, à l'instar de la Commission d'impôt de district, que la comptabilité du recourant n'était pas probante, notamment parce que le livre de caisse n'avait pas été tenu en bonne et due forme, parce que les dépenses et les recettes au comptant avaient été relevées séparément, parce que les marges brutes sur marchandises étaient hors normes et parce que les achats avaient été corrigés en ressortant de la comptabilité de 2005 et 2006 des frais de représentation de 12'000 fr et une part privée de 3'000 fr. représentant environ 1/3 des achats et virés forfaitairement à un poste de frais généraux et au compte privé. Elle a considéré que les conditions pour procéder à une taxation d'office étaient réunies.
3. 3.1 Sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante (<ref-law>). L'<ref-law> s'applique par analogie aux contribuables qui tiennent une comptabilité en bonne et due forme (<ref-law>). Par conséquent, le revenu imposable de l'indépendant astreint à tenir une comptabilité (<ref-law>) résulte du solde du compte de résultats, conformément au principe de l'autorité du bilan commercial institué par l'<ref-law>. Selon ce principe, le bénéfice imposable des personnes physiques et morales repose sur le bénéfice tel qu'il ressort du compte de résultats établi selon les règles du droit commercial. Les comptes établis conformément aux règles du droit commercial lient les autorités fiscales à moins que le droit fiscal ne prévoie des règles correctrices particulières. L'autorité du bilan commercial (<ref-law>) tombe en revanche lorsque des normes impératives du droit commercial sont violées ou que des normes fiscales correctrices l'exigent (<ref-law>; <ref-ruling> consid. 3.1 p. 92; <ref-ruling> consid. 2c p. 114 s.).
3.2 En principe, on ne peut se fonder sur la comptabilité du contribuable que si l'exactitude des faits qui y sont consignés est garantie. Tel n'est pas le cas dans deux hypothèses: d'abord, lorsque les livres ne sont pas tenus régulièrement du point de vue formel mais aussi, lorsqu'il est manifeste que les résultats comptabilisés ne concordent pas quant au fond avec l'état réel des faits, soit parce qu'il y a divergence entre ces résultats et l'évolution de la fortune du contribuable ou son train de vie, soit parce qu'il y a une divergence entre ces résultats et ceux qui, selon l'expérience, sont obtenus dans la branche de la profession en question, sans que des circonstances spéciales n'expliquent ces différences (<ref-ruling> consid. 3b p. 313 ss).
Dans un arrêt du 19 septembre 1980, le Tribunal fédéral a exprimé des "réserves" sur la possibilité de contester la fiabilité de la comptabilité tenue dans les formes d'un non-commerçant en s'appuyant exclusivement sur les coefficients expérimentaux (<ref-ruling> consid. 3c et 3d p. 315 ss), comme le soutenait la jurisprudence antérieure (cf. arrêt du 10 juin 1951 in Archives 20, p. 141; Archives 30, p. 227). Il est douteux que les "réserves" formulées par le Tribunal fédéral en 1980 aient pour effet d'empêcher les autorités fiscales de vérifier la fiabilité d'une comptabilité commerciale tenue dans les formes aux moyens des coefficients expérimentaux. En effet, l'arrêt de 1980 n'infirme pas vraiment la jurisprudence résultant de l'arrêt de 1951, puisque les deux soumettent la possibilité de s'écarter d'une comptabilité tenue en bonne et due forme à la condition qu'il existe une divergence "manifeste". Sous cet angle, l'arrêt du 19 septembre 1980 fait tout au plus figure de précision de jurisprudence en exposant ce qu'il faut entendre par divergence "manifeste": Ainsi, selon ce dernier arrêt, en pratique, l'autorité fiscale ne peut retenir que les divergences, à la fois manifestes et importantes, entre les résultats comptabilisés et ceux que l'on obtient par le calcul en tenant compte de ces coefficients expérimentaux, soit lorsque les résultats comptabilisés se situent en dehors des limites - supérieure et inférieure - de la dispersion que l'on appelle le "quartile central" (<ref-ruling> consid. 3c et 3d p. 315 ss et les références citées; voir sur ces questions: Tony Waibel, Die Ermessenseinschätzung bei Selbständig-erwerbenden, Thèse St Gall 1983, p. 89 ss, 111 ss et 118 ss). Il convient à cet égard de bien distinguer la fonction des coefficients expérimentaux qui permettent de vérifier la validité matérielle d'une comptabilité commerciale tenue en bonne et due forme de celle, prévue par l'<ref-law>, qui permet d'arrêter un bénéfice imposable lorsque la comptabilité n'a pas de valeur probante. Dans le premier cas, la marge commerciale considérée ne s'écarte de manière manifeste des données d'expérience que si elle se situe en dehors des limites de la dispersion, démonstration qui incombe à l'autorité fiscale, tandis que, dans le deuxième cas, le coefficient expérimental ne devra être écarté que s'il est manifestement inexact, ce qu'il incombe au contribuable de démontrer.
En résumé, aujourd'hui comme hier, la valeur probante de la comptabilité tenue en bonne et due forme d'un contribuable indépendant ou d'une personne morale doit être niée lorsqu'il y a une divergence manifeste et importante entre les résultats comptables et ceux qui, selon l'expérience, sont obtenus dans la branche de la profession en question, sans que des circonstances spéciales n'expliquent ces différences (cf. arrêt 2A.52/1992 du 15 décembre 1992, consid. 3c; Richner/Frei/Kaufmann/Meuter, Handkommentar zum DBG; 2e éd., Zurich 2009, n° 54 ad <ref-law> et les références citées; Martin Zweifel, Bundesgesetz über die direkte Bundessteuer (DBG), Kommentar zum schweizerische Steuerrecht, vol. I/2b, 2e éd., Zurich 2008, n° 18 ad <ref-law>; contra Tony Waibel, op. cit., p. 125).
4. 4.1 Selon le rapport d'expertise du 31 octobre 2007, la comptabilité du café-restaurant exploité par le recourant n'est pas probante, le livre de caisse n'ayant en particulier pas été tenu en bonne et due forme. Certes, le rapport d'expertise n'est pas exempt d'imprécision sur ce point: ainsi l'on ignore si le livre de caisse n'est pas tenu en bonne et due forme parce que "les dépenses au comptant et les recettes ont été relevées séparément" ou si ce dernier reproche s'ajoute à la constatation du caractère incomplet du livre de caisse pour d'autres motifs que l'expertise aurait omis de préciser. Il n'est pas nécessaire de trancher ce dernier point. En effet, l'unique extrait de compte "Grand livre" déposé par le recourant afin de démontrer que son "livre de caisse" est conforme aux exigences du code des obligations ne concerne qu'un mois de l'exercice commercial 2006 et non pas les quatre ans examiné par le rapport d'expertise. Un tel moyen de preuve est insuffisant à établir l'exactitude du livre de caisse durant les exercices comptables des années 2003 à 2006. Le recourant ayant échoué dans la démonstration que son livre de caisse est tenu en bonne et due forme, l'ensemble de la comptabilité du café-restaurant doit être considérée comme non probante, d'autant qu'il s'agit d'une activité commerciale dans laquelle les flux d'argent liquide revêtent une importance considérable. Sous cet angle, il se justifie déjà de procéder à une estimation d'office des pertes litigieuses.
4.2 Il n'est par conséquent pas nécessaire d'examiner les marges brutes sur marchandises. Force est d'ailleurs de remarquer sous cet angle qu'un tel examen n'est en l'espèce pas possible du moment que ni le rapport d'expertise ni l'arrêt attaqué n'indiquent le quartile central auquel la jurisprudence fait référence afin de tenir compte de la dispersion des résultats pris en compte dans l'établissement de la marge brute.
4.3 En jugeant que la comptabilité du recourant relative au café-restaurant pour les exercices commerciaux 2003 à 2006 n'avait pas de valeur probante, l'autorité précédente n'a pas violé le droit fédéral. C'est par conséquent à bon droit que l'autorité précédente a jugé que les conditions pour effectuer une estimation d'office du bénéfice (respectivement des pertes) étaient remplies.
4.4 Le recourant n'ayant pas démontré que le coefficient de 64% était manifestement inexact (<ref-law>), l'autorité précédente pouvait sans violer l'<ref-law> l'utiliser pour déterminer le revenu imposable des périodes fiscales 2003 à 2006.
En tant qu'il est dirigé contre l'impôt fédéral direct, le présent recours est mal fondé et doit être rejeté.
II. Impôt cantonal et communal
5. Les art. 7 et 8 LHID déclarent imposable le produit de l'activité lucrative indépendante. Bien que la loi sur l'harmonisation fiscale ne le précise pas expressément, le revenu imposable du contribuable qui exerce une activité lucrative indépendante résulte, comme en matière d'impôt fédéral direct, du compte de résultats de la comptabilité tenue conformément aux règles de la comptabilité commerciale figurant aux art. 957 à 964 CO. Le principe de l'autorité du bilan commercial trouve aussi application en droit cantonal harmonisé (Markus Reich, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, Kommentar zum schweizerischen Steuerrecht, vol. I/1, 2e éd., Bâle 2002, n° 21 ss ad <ref-law>). L'art. 4 de la loi fiscale valaisanne du 10 mars 1976 (LF/VS; RSVS 642.1) a sur ce point une teneur conforme la loi sur l'harmonisation fiscale.
Enfin, l'art. 46 al. 1 et 3 LHID a un contenu similaire à celui de l'art. 130 al. 1 et 2 LIFD, dont les dispositions ont été correctement transposées en droit cantonal (art. 137 LF/VS).
Il s'ensuit que les considérations développées ci-dessus relatives au défaut de valeur probante de la comptabilité du recourant et à l'établissement de la taxation d'office s'appliquent aux impôts cantonal et communal. Par conséquent, le recours doit également être rejeté en ce qui concerne les impôts cantonal et communal.
6. Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter un émolument judiciaire (art. 65 et 66 LTF). Il n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2003 à 2006.
2. Le recours est rejeté en tant qu'il concerne l'impôt cantonal et communal direct des périodes fiscales 2003 à 2006.
3. Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions du canton du Valais, à la Commission cantonale de recours en matière fiscale du canton du Valais et à l'Administration fédérale des contributions.
Lausanne, le 13 octobre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Dubey