Bundesgericht
Tribunal fédéral
Tribunale federale
Tribunal federal

{T 0/2}
2C 419/2010

Arrêt du 13 octobre 2010
IIe Cour de droit public

Composition
MM. les Juges Zünd, Président,
Merkli et Donzallaz.
Greffier: M. Dubey.

Participants à la procédure
X.________,
représenté par Cabinet Fiscal et Financier Roux & Associés SA,
recourant,

contre

Service cantonal des contributions du canton du Valais, avenue de la Gare 35, 1950 Sion.

Objet
Impôts cantonaux et communaux et impôt fédéral direct 2003, 2004, 2005, 2006,

recours contre la décision de la Commission cantonale de recours en matière fiscale du canton du Valais du 24 février 2010.

Faits:

A.
X.________ (ci-après: l'intéressé), domicilié à A.________, exerce à titre principal une activité indépendante de médecin-dentiste à B.________ qui produit un revenu avant déduction sociale d'environ 700'000 fr. pour chacune des années 2003 à 2006. Il était propriétaire pour moitié des locaux abritant le restaurant Y.________ à C.________, exploité jusqu'en 2002 par D.________ Sàrl, société dans laquelle il détenait aussi une participation. Dès le mois de décembre 2002, après la liquidation de la société D.________ Sàrl, X.________ a racheté l'autre part des locaux et repris l'exploitation en raison individuelle du café-restaurant en sus de son activité de médecin-dentiste jusqu'au 31 décembre 2006.

Il ressort du rapport d'expertise établi le 31 octobre 2007 par le Service cantonal des contributions du canton du Valais portant sur la comptabilité des deux activités lucratives de X.________ durant les années 2003 à 2006 que le restaurant accusait des pertes insolites (132'908 fr. en 2003, 181'171 fr. en 2004, 112'985 en 2005 et 128'749 fr. en 2006) pour un chiffre d'affaires peu élevé (164'971 fr. 65 en 2003, 161'308 fr. 75 en 2004, 60'751 fr. 67 en 2005 et 65'706 fr. 32 en 2006) et que les salaires du personnel représentant 139'321 fr. 05 en 2003, 170'683 fr. 15 pour 2004, 76'212' fr. 40 pour 2005 et 85'992 fr 95 en 2006 étaient disproportionnés. Le rapport constatait aussi que la comptabilité n'était pas probante et que les marges brutes étaient fluctuantes et hors normes (60,5% pour 2003, 46,5% pour 2004, 60% pour 2005 et 54,6% pour 2006). Il proposait de ne pas admettre les pertes comptabilisées.

Par bordereaux d'impôt notifiés le 4 novembre 2008, la Commission d'impôt de district de B.________ a admis le 50% des pertes résultant de l'exploitation du café-restaurant et fixé le revenu net imposable en matière d'impôt cantonal et communal à 407'504 fr. pour 2003, 342'619 fr. pour 2004, 498'142 fr. pour 2005 et à 561'366 fr. pour 2006 et en matière d'impôt fédéral direct à 407'014 fr. pour 2003, 342'139 fr. pour 2004, à 495'372 fr. pour 2005 et à 556'936 fr. pour 2006.

Par décision sur réclamation du 13 février 2009, la Commission d'impôt de district a rejeté les réclamations déposées par X.________ contre les bordereaux du 4 novembre 2008.

Le 13 mars 2009, X.________ a recouru contre la décision sur réclamation du 13 février 2009 auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours).

B.
Par décision du 24 février 2010, la Commission de recours a partiellement admis le recours et fixé le revenu imposable de X.________ en matière d'impôt cantonal et communal à 347'562 fr. pour 2003, 317'981 fr. pour 2004, 478'179 fr. pour 2005 et 543'196 fr. pour 2006 et en matière d'impôt fédéral direct à 347'072 fr. pour 2003, 317'501 fr. pour 2004, 475'429 fr. pour 2005 et 538'766 fr. pour 2006. Selon elle, l'activité de ce dernier était bien une activité lucrative indépendante. En revanche, comme la comptabilité n'avait pas de valeur probante, il fallait fixer le revenu par estimation en retenant une marge brute de 64%.

C.
Agissant par la voie du recours en matière de droit public en matière d'impôt fédéral direct ainsi qu'en matière d'impôts cantonal et communal, X.________ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision rendue le 24 février 2010 par la Commission de recours en tant qu'elle constate que la comptabilité n'est pas probante et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Le recourant conteste le caractère non probant de sa comptabilité ainsi que le droit pour l'autorité fiscale de procéder par estimation.

La Commission de recours et le service cantonal des contributions du canton du Valais ainsi que l'Administration fédérale des contributions concluent au rejet du recours sous suite de frais.
Considérant en droit:

1.
L'arrêt attaqué constitue une décision finale rendue dans une cause de droit public par une autorité supérieure de dernière instance cantonale qui concerne à la fois l'impôt fédéral direct et l'impôt cantonal harmonisé, ce qui est admissible du moment que la notion et les conditions pour procéder à une taxation d'office sont identiques pour les deux catégories d'impôts (arrêt 2A.113/2005 du 16 septembre 2005 in StE 2005 B 96.22 n° 3, consid. 3 non publié aux ATF 131 II 548). Par conséquent, déposé en temps utile par le destinataire de l'arrêt attaqué, qui a un intérêt digne de protection à l'annulation ou à la modification de celui-ci, le présent recours en matière de droit public est en principe recevable en vertu des art. 82 ss
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 82 Grundsatz - Das Bundesgericht beurteilt Beschwerden:
a  gegen Entscheide in Angelegenheiten des öffentlichen Rechts;
b  gegen kantonale Erlasse;
c  betreffend die politische Stimmberechtigung der Bürger und Bürgerinnen sowie betreffend Volkswahlen und -abstimmungen.
LTF, 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 73 al. 1 de la loi du 14 décembre 1990 sur l'harmonisation des impôts cantonaux et communaux (LHID; loi sur l'harmonisation fiscale; RS 642.14). Il est aussi conforme à la jurisprudence qui autorise le dépôt d'un seul acte de recours, lorsqu'il ressort clairement du mémoire, comme en l'espèce (cf. mémoire de recours, p. 12), que le recourant s'en prend aux deux catégories d'impôts (cf. ATF 135 II 260 ss).

I. Impôt fédéral direct

2.
2.1 D'après l'art. 130 al. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 130 Durchführung - 1 Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
1    Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
2    Hat der Steuerpflichtige trotz Mahnung seine Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor. Sie kann dabei Erfahrungszahlen, Vermögensentwicklung und Lebensaufwand des Steuerpflichtigen berücksichtigen.
et 2
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 130 Durchführung - 1 Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
1    Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
2    Hat der Steuerpflichtige trotz Mahnung seine Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor. Sie kann dabei Erfahrungszahlen, Vermögensentwicklung und Lebensaufwand des Steuerpflichtigen berücksichtigen.
LIFD, l'autorité de taxation contrôle la déclaration d'impôt et procède aux investigations nécessaires. Elle effectue la taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou que les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Elle peut prendre en considération les coefficients expérimentaux, l'évolution de fortune et le train de vie du contribuable. Selon l'art. 132 al. 3
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 132 Voraussetzungen - 1 Gegen die Veranlagungsverfügung kann der Steuerpflichtige innert 30 Tagen nach Zustellung bei der Veranlagungsbehörde schriftlich Einsprache erheben.
1    Gegen die Veranlagungsverfügung kann der Steuerpflichtige innert 30 Tagen nach Zustellung bei der Veranlagungsbehörde schriftlich Einsprache erheben.
2    Richtet sich die Einsprache gegen eine einlässlich begründete Veranlagungsverfügung, so kann sie mit Zustimmung des Einsprechers und der übrigen Antragsteller (Art. 103 Abs. 1 Bst. b und 104 Abs. 1) als Beschwerde an die kantonale Steuerrekurskommission weitergeleitet werden.
3    Eine Veranlagung nach pflichtgemässem Ermessen kann der Steuerpflichtige nur wegen offensichtlicher Unrichtigkeit anfechten. Die Einsprache ist zu begründen und muss allfällige Beweismittel nennen.
LIFD en outre, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuve.

Par la voie de la réclamation, le contribuable taxé d'office peut contester la réalisation des conditions qui ouvrent à l'autorité fiscale le droit de taxer d'office ainsi que le montant des éléments imposables, pour autant qu'il prouve le caractère manifestement inexact de la taxation (arrêts 2A.657/2005 du 9 juin 2006 in RF 62/2007, p. 44, consid. 2; 2A.442/2001 du 19 juin 2002, consid. 2.2).

2.2 En l'espèce, l'autorité précédente a tenu pour établi le fait, à l'instar de la Commission d'impôt de district, que la comptabilité du recourant n'était pas probante, notamment parce que le livre de caisse n'avait pas été tenu en bonne et due forme, parce que les dépenses et les recettes au comptant avaient été relevées séparément, parce que les marges brutes sur marchandises étaient hors normes et parce que les achats avaient été corrigés en ressortant de la comptabilité de 2005 et 2006 des frais de représentation de 12'000 fr et une part privée de 3'000 fr. représentant environ 1/3 des achats et virés forfaitairement à un poste de frais généraux et au compte privé. Elle a considéré que les conditions pour procéder à une taxation d'office étaient réunies.

3.
3.1 Sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante (art. 18 al. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 18 Grundsatz - 1 Steuerbar sind alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit.
1    Steuerbar sind alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit.
2    Zu den Einkünften aus selbstständiger Erwerbstätigkeit zählen auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen. Der Veräusserung gleichgestellt ist die Überführung von Geschäftsvermögen in das Privatvermögen oder in ausländische Betriebe oder Betriebsstätten. Als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbstständigen Erwerbstätigkeit dienen; Gleiches gilt für Beteiligungen von mindestens 20 Prozent am Grund- oder Stammkapital einer Kapitalgesellschaft oder Genossenschaft, sofern der Eigentümer sie im Zeitpunkt des Erwerbs zum Geschäftsvermögen erklärt. Artikel 18b bleibt vorbehalten.30
3    Für Steuerpflichtige, die eine ordnungsgemässe Buchhaltung führen, gilt Artikel 58 sinngemäss.
4    Die Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken werden den steuerbaren Einkünften nur bis zur Höhe der Anlagekosten zugerechnet.
LIFD). L'art. 58
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 58 Allgemeines - 1 Der steuerbare Reingewinn setzt sich zusammen aus:
1    Der steuerbare Reingewinn setzt sich zusammen aus:
a  dem Saldo der Erfolgsrechnung unter Berücksichtigung des Saldovortrages des Vorjahres;
b  allen vor Berechnung des Saldos der Erfolgsrechnung ausgeschiedenen Teilen des Geschäftsergebnisses, die nicht zur Deckung von geschäftsmässig begründetem Aufwand verwendet werden, wie insbesondere:
c  den der Erfolgsrechnung nicht gutgeschriebenen Erträgen, mit Einschluss der Kapital-, Aufwertungs- und Liquidationsgewinne, vorbehältlich Artikel 64. ...133
2    Der steuerbare Reingewinn juristischer Personen, die keine Erfolgsrechnung erstellen, bestimmt sich sinngemäss nach Absatz 1.
3    Leistungen, welche gemischtwirtschaftliche, im öffentlichen Interesse tätige Unternehmen überwiegend an nahe stehende Personen erbringen, sind zum jeweiligen Marktpreis, zu den jeweiligen Gestehungskosten zuzüglich eines angemessenen Aufschlages oder zum jeweiligen Endverkaufspreis abzüglich einer angemessenen Gewinnmarge zu bewerten; das Ergebnis eines jeden Unternehmens ist entsprechend zu berichtigen.
LIFD s'applique par analogie aux contribuables qui tiennent une comptabilité en bonne et due forme (art. 18 al. 3
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 18 Grundsatz - 1 Steuerbar sind alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit.
1    Steuerbar sind alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit.
2    Zu den Einkünften aus selbstständiger Erwerbstätigkeit zählen auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen. Der Veräusserung gleichgestellt ist die Überführung von Geschäftsvermögen in das Privatvermögen oder in ausländische Betriebe oder Betriebsstätten. Als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbstständigen Erwerbstätigkeit dienen; Gleiches gilt für Beteiligungen von mindestens 20 Prozent am Grund- oder Stammkapital einer Kapitalgesellschaft oder Genossenschaft, sofern der Eigentümer sie im Zeitpunkt des Erwerbs zum Geschäftsvermögen erklärt. Artikel 18b bleibt vorbehalten.30
3    Für Steuerpflichtige, die eine ordnungsgemässe Buchhaltung führen, gilt Artikel 58 sinngemäss.
4    Die Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken werden den steuerbaren Einkünften nur bis zur Höhe der Anlagekosten zugerechnet.
LIFD). Par conséquent, le revenu imposable de l'indépendant astreint à tenir une comptabilité (art. 934
SR 220 Erste Abteilung: Allgemeine Bestimmungen Erster Titel: Die Entstehung der Obligationen Erster Abschnitt: Die Entstehung durch Vertrag
OR Art. 934 - 1 Weist eine Rechtseinheit keine Geschäftstätigkeit mehr auf und hat sie keine verwertbaren Aktiven mehr, so löscht das Handelsregisteramt sie aus dem Handelsregister.
1    Weist eine Rechtseinheit keine Geschäftstätigkeit mehr auf und hat sie keine verwertbaren Aktiven mehr, so löscht das Handelsregisteramt sie aus dem Handelsregister.
2    Das Handelsregisteramt fordert die Rechtseinheit auf, ein Interesse an der Aufrechterhaltung des Eintrags mitzuteilen. Bleibt diese Aufforderung ergebnislos, so fordert es weitere Betroffene durch Publikation im Schweizerischen Handelsamtsblatt auf, ein solches Interesse mitzuteilen. Bleibt auch diese Aufforderung ergebnislos, so wird die Rechtseinheit gelöscht.765
3    Machen weitere Betroffene ein Interesse an der Aufrechterhaltung des Eintrags geltend, so überweist das Handelsregisteramt die Angelegenheit dem Gericht zum Entscheid.
CO) résulte du solde du compte de résultats, conformément au principe de l'autorité du bilan commercial institué par l'art. 58
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 58 Allgemeines - 1 Der steuerbare Reingewinn setzt sich zusammen aus:
1    Der steuerbare Reingewinn setzt sich zusammen aus:
a  dem Saldo der Erfolgsrechnung unter Berücksichtigung des Saldovortrages des Vorjahres;
b  allen vor Berechnung des Saldos der Erfolgsrechnung ausgeschiedenen Teilen des Geschäftsergebnisses, die nicht zur Deckung von geschäftsmässig begründetem Aufwand verwendet werden, wie insbesondere:
c  den der Erfolgsrechnung nicht gutgeschriebenen Erträgen, mit Einschluss der Kapital-, Aufwertungs- und Liquidationsgewinne, vorbehältlich Artikel 64. ...133
2    Der steuerbare Reingewinn juristischer Personen, die keine Erfolgsrechnung erstellen, bestimmt sich sinngemäss nach Absatz 1.
3    Leistungen, welche gemischtwirtschaftliche, im öffentlichen Interesse tätige Unternehmen überwiegend an nahe stehende Personen erbringen, sind zum jeweiligen Marktpreis, zu den jeweiligen Gestehungskosten zuzüglich eines angemessenen Aufschlages oder zum jeweiligen Endverkaufspreis abzüglich einer angemessenen Gewinnmarge zu bewerten; das Ergebnis eines jeden Unternehmens ist entsprechend zu berichtigen.
LIFD. Selon ce principe, le bénéfice imposable des personnes physiques et morales repose sur le bénéfice tel qu'il ressort du compte de résultats établi selon les règles du droit commercial. Les comptes établis conformément aux règles du droit commercial lient les autorités fiscales à moins que le droit fiscal ne prévoie des règles correctrices particulières. L'autorité du bilan commercial (art. 662a
SR 220 Erste Abteilung: Allgemeine Bestimmungen Erster Titel: Die Entstehung der Obligationen Erster Abschnitt: Die Entstehung durch Vertrag
OR Art. 662a
CO) tombe en revanche lorsque des normes impératives du droit commercial sont violées ou que des normes fiscales correctrices l'exigent (art. 58
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 58 Allgemeines - 1 Der steuerbare Reingewinn setzt sich zusammen aus:
1    Der steuerbare Reingewinn setzt sich zusammen aus:
a  dem Saldo der Erfolgsrechnung unter Berücksichtigung des Saldovortrages des Vorjahres;
b  allen vor Berechnung des Saldos der Erfolgsrechnung ausgeschiedenen Teilen des Geschäftsergebnisses, die nicht zur Deckung von geschäftsmässig begründetem Aufwand verwendet werden, wie insbesondere:
c  den der Erfolgsrechnung nicht gutgeschriebenen Erträgen, mit Einschluss der Kapital-, Aufwertungs- und Liquidationsgewinne, vorbehältlich Artikel 64. ...133
2    Der steuerbare Reingewinn juristischer Personen, die keine Erfolgsrechnung erstellen, bestimmt sich sinngemäss nach Absatz 1.
3    Leistungen, welche gemischtwirtschaftliche, im öffentlichen Interesse tätige Unternehmen überwiegend an nahe stehende Personen erbringen, sind zum jeweiligen Marktpreis, zu den jeweiligen Gestehungskosten zuzüglich eines angemessenen Aufschlages oder zum jeweiligen Endverkaufspreis abzüglich einer angemessenen Gewinnmarge zu bewerten; das Ergebnis eines jeden Unternehmens ist entsprechend zu berichtigen.
LIFD; ATF 136 II 88 consid. 3.1 p. 92; 119 Ib 111 consid. 2c p. 114 s.).

3.2 En principe, on ne peut se fonder sur la comptabilité du contribuable que si l'exactitude des faits qui y sont consignés est garantie. Tel n'est pas le cas dans deux hypothèses: d'abord, lorsque les livres ne sont pas tenus régulièrement du point de vue formel mais aussi, lorsqu'il est manifeste que les résultats comptabilisés ne concordent pas quant au fond avec l'état réel des faits, soit parce qu'il y a divergence entre ces résultats et l'évolution de la fortune du contribuable ou son train de vie, soit parce qu'il y a une divergence entre ces résultats et ceux qui, selon l'expérience, sont obtenus dans la branche de la profession en question, sans que des circonstances spéciales n'expliquent ces différences (ATF 106 Ib 311 consid. 3b p. 313 ss).

Dans un arrêt du 19 septembre 1980, le Tribunal fédéral a exprimé des "réserves" sur la possibilité de contester la fiabilité de la comptabilité tenue dans les formes d'un non-commerçant en s'appuyant exclusivement sur les coefficients expérimentaux (ATF 106 Ib 311 consid. 3c et 3d p. 315 ss), comme le soutenait la jurisprudence antérieure (cf. arrêt du 10 juin 1951 in Archives 20, p. 141; Archives 30, p. 227). Il est douteux que les "réserves" formulées par le Tribunal fédéral en 1980 aient pour effet d'empêcher les autorités fiscales de vérifier la fiabilité d'une comptabilité commerciale tenue dans les formes aux moyens des coefficients expérimentaux. En effet, l'arrêt de 1980 n'infirme pas vraiment la jurisprudence résultant de l'arrêt de 1951, puisque les deux soumettent la possibilité de s'écarter d'une comptabilité tenue en bonne et due forme à la condition qu'il existe une divergence "manifeste". Sous cet angle, l'arrêt du 19 septembre 1980 fait tout au plus figure de précision de jurisprudence en exposant ce qu'il faut entendre par divergence "manifeste": Ainsi, selon ce dernier arrêt, en pratique, l'autorité fiscale ne peut retenir que les divergences, à la fois manifestes et importantes, entre les résultats
comptabilisés et ceux que l'on obtient par le calcul en tenant compte de ces coefficients expérimentaux, soit lorsque les résultats comptabilisés se situent en dehors des limites - supérieure et inférieure - de la dispersion que l'on appelle le "quartile central" (ATF 106 Ib 311 consid. 3c et 3d p. 315 ss et les références citées; voir sur ces questions: Tony Waibel, Die Ermessenseinschätzung bei Selbständig-erwerbenden, Thèse St Gall 1983, p. 89 ss, 111 ss et 118 ss). Il convient à cet égard de bien distinguer la fonction des coefficients expérimentaux qui permettent de vérifier la validité matérielle d'une comptabilité commerciale tenue en bonne et due forme de celle, prévue par l'art. 130 al. 2
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 130 Durchführung - 1 Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
1    Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
2    Hat der Steuerpflichtige trotz Mahnung seine Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor. Sie kann dabei Erfahrungszahlen, Vermögensentwicklung und Lebensaufwand des Steuerpflichtigen berücksichtigen.
LIFD, qui permet d'arrêter un bénéfice imposable lorsque la comptabilité n'a pas de valeur probante. Dans le premier cas, la marge commerciale considérée ne s'écarte de manière manifeste des données d'expérience que si elle se situe en dehors des limites de la dispersion, démonstration qui incombe à l'autorité fiscale, tandis que, dans le deuxième cas, le coefficient expérimental ne devra être écarté que s'il est manifestement inexact, ce qu'il incombe au contribuable de démontrer.

En résumé, aujourd'hui comme hier, la valeur probante de la comptabilité tenue en bonne et due forme d'un contribuable indépendant ou d'une personne morale doit être niée lorsqu'il y a une divergence manifeste et importante entre les résultats comptables et ceux qui, selon l'expérience, sont obtenus dans la branche de la profession en question, sans que des circonstances spéciales n'expliquent ces différences (cf. arrêt 2A.52/1992 du 15 décembre 1992, consid. 3c; Richner/Frei/Kaufmann/Meuter, Handkommentar zum DBG; 2e éd., Zurich 2009, n° 54 ad art. 123
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 123 - 1 Die Veranlagungsbehörden stellen zusammen mit dem Steuerpflichtigen die für eine vollständige und richtige Besteuerung massgebenden tatsächlichen und rechtlichen Verhältnisse fest.
1    Die Veranlagungsbehörden stellen zusammen mit dem Steuerpflichtigen die für eine vollständige und richtige Besteuerung massgebenden tatsächlichen und rechtlichen Verhältnisse fest.
2    Sie können insbesondere Sachverständige beiziehen, Augenscheine durchführen und Geschäftsbücher und Belege an Ort und Stelle einsehen. Die sich daraus ergebenden Kosten können ganz oder teilweise dem Steuerpflichtigen oder jeder andern zur Auskunft verpflichteten Person auferlegt werden, die diese durch eine schuldhafte Verletzung von Verfahrenspflichten notwendig gemacht haben.
LIFD et les références citées; Martin Zweifel, Bundesgesetz über die direkte Bundessteuer (DBG), Kommentar zum schweizerische Steuerrecht, vol. I/2b, 2e éd., Zurich 2008, n° 18 ad art. 115
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 115 Beweisabnahme - Die vom Steuerpflichtigen angebotenen Beweise müssen abgenommen werden, soweit sie geeignet sind, die für die Veranlagung erheblichen Tatsachen festzustellen.
LIFD; contra Tony Waibel, op. cit., p. 125).

4.
4.1 Selon le rapport d'expertise du 31 octobre 2007, la comptabilité du café-restaurant exploité par le recourant n'est pas probante, le livre de caisse n'ayant en particulier pas été tenu en bonne et due forme. Certes, le rapport d'expertise n'est pas exempt d'imprécision sur ce point: ainsi l'on ignore si le livre de caisse n'est pas tenu en bonne et due forme parce que "les dépenses au comptant et les recettes ont été relevées séparément" ou si ce dernier reproche s'ajoute à la constatation du caractère incomplet du livre de caisse pour d'autres motifs que l'expertise aurait omis de préciser. Il n'est pas nécessaire de trancher ce dernier point. En effet, l'unique extrait de compte "Grand livre" déposé par le recourant afin de démontrer que son "livre de caisse" est conforme aux exigences du code des obligations ne concerne qu'un mois de l'exercice commercial 2006 et non pas les quatre ans examiné par le rapport d'expertise. Un tel moyen de preuve est insuffisant à établir l'exactitude du livre de caisse durant les exercices comptables des années 2003 à 2006. Le recourant ayant échoué dans la démonstration que son livre de caisse est tenu en bonne et due forme, l'ensemble de la comptabilité du café-restaurant doit être
considérée comme non probante, d'autant qu'il s'agit d'une activité commerciale dans laquelle les flux d'argent liquide revêtent une importance considérable. Sous cet angle, il se justifie déjà de procéder à une estimation d'office des pertes litigieuses.

4.2 Il n'est par conséquent pas nécessaire d'examiner les marges brutes sur marchandises. Force est d'ailleurs de remarquer sous cet angle qu'un tel examen n'est en l'espèce pas possible du moment que ni le rapport d'expertise ni l'arrêt attaqué n'indiquent le quartile central auquel la jurisprudence fait référence afin de tenir compte de la dispersion des résultats pris en compte dans l'établissement de la marge brute.

4.3 En jugeant que la comptabilité du recourant relative au café-restaurant pour les exercices commerciaux 2003 à 2006 n'avait pas de valeur probante, l'autorité précédente n'a pas violé le droit fédéral. C'est par conséquent à bon droit que l'autorité précédente a jugé que les conditions pour effectuer une estimation d'office du bénéfice (respectivement des pertes) étaient remplies.

4.4 Le recourant n'ayant pas démontré que le coefficient de 64% était manifestement inexact (art. 132 al. 3
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 132 Voraussetzungen - 1 Gegen die Veranlagungsverfügung kann der Steuerpflichtige innert 30 Tagen nach Zustellung bei der Veranlagungsbehörde schriftlich Einsprache erheben.
1    Gegen die Veranlagungsverfügung kann der Steuerpflichtige innert 30 Tagen nach Zustellung bei der Veranlagungsbehörde schriftlich Einsprache erheben.
2    Richtet sich die Einsprache gegen eine einlässlich begründete Veranlagungsverfügung, so kann sie mit Zustimmung des Einsprechers und der übrigen Antragsteller (Art. 103 Abs. 1 Bst. b und 104 Abs. 1) als Beschwerde an die kantonale Steuerrekurskommission weitergeleitet werden.
3    Eine Veranlagung nach pflichtgemässem Ermessen kann der Steuerpflichtige nur wegen offensichtlicher Unrichtigkeit anfechten. Die Einsprache ist zu begründen und muss allfällige Beweismittel nennen.
LIFD), l'autorité précédente pouvait sans violer l'art. 130 al. 2
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 130 Durchführung - 1 Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
1    Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
2    Hat der Steuerpflichtige trotz Mahnung seine Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor. Sie kann dabei Erfahrungszahlen, Vermögensentwicklung und Lebensaufwand des Steuerpflichtigen berücksichtigen.
LIFD l'utiliser pour déterminer le revenu imposable des périodes fiscales 2003 à 2006.

En tant qu'il est dirigé contre l'impôt fédéral direct, le présent recours est mal fondé et doit être rejeté.
II. Impôt cantonal et communal

5.
Les art. 7
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 7 Grundsatz - 1 Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte, insbesondere solche aus unselbständiger und selbständiger Erwerbstätigkeit, aus Vermögensertrag, eingeschlossen die Eigennutzung von Grundstücken, aus Vorsorgeeinrichtungen sowie aus Leibrenten. Die vom Arbeitgeber getragenen Kosten der berufsorientierten Aus- und Weiterbildung16, einschliesslich Umschulungskosten, stellen unabhängig von deren Höhe keine steuerbaren Einkünfte dar. Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Aktien, Anteilen an Gesellschaften mit beschränkter Haftung, Genossenschaftsanteilen und Partizipationsscheinen (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.) sind im Umfang von 50 Prozent steuerbar, wenn diese Beteiligungsrechte mindestens 10 Prozent des Grund- oder Stammkapitals einer Kapitalgesellschaft oder Genossenschaft darstellen.17 Die Kantone können eine höhere Besteuerung vorsehen.18 19
1    Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte, insbesondere solche aus unselbständiger und selbständiger Erwerbstätigkeit, aus Vermögensertrag, eingeschlossen die Eigennutzung von Grundstücken, aus Vorsorgeeinrichtungen sowie aus Leibrenten. Die vom Arbeitgeber getragenen Kosten der berufsorientierten Aus- und Weiterbildung16, einschliesslich Umschulungskosten, stellen unabhängig von deren Höhe keine steuerbaren Einkünfte dar. Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Aktien, Anteilen an Gesellschaften mit beschränkter Haftung, Genossenschaftsanteilen und Partizipationsscheinen (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.) sind im Umfang von 50 Prozent steuerbar, wenn diese Beteiligungsrechte mindestens 10 Prozent des Grund- oder Stammkapitals einer Kapitalgesellschaft oder Genossenschaft darstellen.17 Die Kantone können eine höhere Besteuerung vorsehen.18 19
1bis    Ein bei der Rückgabe von Beteiligungsrechten im Sinne von Artikel 4a des Bundesgesetzes vom 13. Oktober 196520 über die Verrechnungssteuer an die Kapitalgesellschaft oder Genossenschaft erzielter Vermögensertrag gilt in dem Jahr als realisiert, in welchem die Verrechnungssteuerforderung entsteht (Art. 12 Abs. 1 und 1bis des BG vom 13. Okt. 1965 über die Verrechnungssteuer).21
1ter    Erträge aus rückkaufsfähigen Kapitalversicherungen mit Einmalprämie sind im Erlebensfall oder bei Rückkauf steuerbar, ausser wenn diese Kapitalversicherungen der Vorsorge dienen. Als der Vorsorge dienend gilt die Auszahlung der Versicherungsleistung ab dem vollendeten 60. Altersjahr des Versicherten auf Grund eines mindestens fünfjährigen Vertragsverhältnisses, das vor Vollendung des 66. Altersjahres begründet wurde. In diesem Fall ist die Leistung steuerfrei.22
2    Leibrenten sowie Einkünfte aus Verpfründung sind zu 40 Prozent steuerbar.23
3    Einkünfte aus Anteilen an kollektiven Kapitalanlagen gemäss Kollektivanlagengesetz vom 23. Juni 200624 (KAG) werden den Anlegern anteilsmässig zugerechnet; Einkünfte aus Anteilen an kollektiven Kapitalanlagen mit direktem Grundbesitz sind nur steuerbar, soweit die Gesamterträge die Erträge aus direktem Grundbesitz übersteigen.25
4    Steuerfrei sind nur:
a  der Erlös aus Bezugsrechten, sofern die Vermögensrechte zum Privatvermögen gehören;
b  Kapitalgewinne auf beweglichem Privatvermögen; vorbehalten bleibt Artikel 12 Absatz 2 Buchstaben a und d;
c  Vermögensanfall infolge Erbschaft, Vermächtnis, Schenkung oder güterrechtlicher Auseinandersetzung;
d  der Vermögensanfall aus rückkaufsfähiger privater Kapitalversicherung, ausgenommen aus Freizügigkeitspolicen. Absatz 1ter bleibt vorbehalten;
e  Kapitalzahlungen, die bei Stellenwechsel vom Arbeitgeber oder von Einrichtungen der beruflichen Vorsorge ausgerichtet werden, wenn sie der Empfänger innert Jahresfrist zum Einkauf in eine Einrichtung der beruflichen Vorsorge oder zum Erwerb einer Freizügigkeitspolice verwendet;
f  Unterstützungen aus öffentlichen oder privaten Mitteln;
g  Leistungen in Erfüllung familienrechtlicher Verpflichtungen, ausgenommen die vom geschiedenen, gerichtlich oder tatsächlich getrennt lebenden Ehegatten erhaltenen Unterhaltsbeiträge sowie die Unterhaltsbeiträge, die ein Elternteil für die unter seiner elterlichen Sorge stehenden Kinder erhält;
h  der Sold für Militär- und Schutzdienst sowie das Taschengeld für Zivildienst;
hbis  der Sold der Milizfeuerwehrleute bis zu einem nach kantonalem Recht bestimmten jährlichen Betrag für Dienstleistungen im Zusammenhang mit der Erfüllung der Kernaufgaben der Feuerwehr (Übungen, Pikettdienste, Kurse, Inspektionen und Ernstfalleinsätze zur Rettung, Brandbekämpfung, allgemeinen Schadenwehr, Elementarschadenbewältigung und dergleichen); ausgenommen sind Pauschalzulagen für Kader, Funktionszulagen sowie Entschädigungen für administrative Arbeiten und für Dienstleistungen, welche die Feuerwehr freiwillig erbringt;
i  Zahlungen von Genugtuungssummen;
k  Einkünfte aufgrund der Bundesgesetzgebung über Ergänzungsleistungen zur Alters-, Hinterlassenen- und Invalidenversicherung;
l  die Gewinne, die in Spielbanken mit Spielbankenspielen erzielt werden, die nach dem Geldspielgesetz vom 29. September 201730 (BGS) zugelassen sind, sofern diese Gewinne nicht aus selbstständiger Erwerbstätigkeit stammen;
lbis  die einzelnen Gewinne bis zu einem Betrag von 1 Million Franken oder zu einem nach kantonalem Recht bestimmten höheren Betrag aus der Teilnahme an Grossspielen, die nach dem BGS zugelassen sind, und aus der Online-Teilnahme an Spielbankenspielen, die nach dem BGS zugelassen sind;
lter  die Gewinne aus Kleinspielen, die nach dem BGS zugelassen sind;
m  die einzelnen Gewinne aus Lotterien und Geschicklichkeitsspielen zur Verkaufsförderung, die nach Artikel 1 Absatz 2 Buchstaben d und e BGS diesem nicht unterstehen, sofern die nach kantonalem Recht bestimmte Grenze nicht überschritten wird;
n  Einkünfte aufgrund des Bundesgesetzes vom 19. Juni 202035 über Überbrückungsleistungen für ältere Arbeitslose.
et 8
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 8 Selbständige Erwerbstätigkeit - 1 Zu den steuerbaren Einkünften aus selbständiger Erwerbstätigkeit zählen auch alle Kapitalgewinne auf Geschäftsvermögen aus Veräusserung, Verwertung, buchmässiger Aufwertung, Privatentnahme oder aus Verlegung in ausländische Betriebe oder Betriebsstätten; ausgenommen sind Gewinne aus Veräusserung von land- und forstwirtschaftlichen Grundstücken, soweit der Veräusserungserlös die Anlagekosten übersteigt. Artikel 12 Absatz 4 bleibt vorbehalten.
1    Zu den steuerbaren Einkünften aus selbständiger Erwerbstätigkeit zählen auch alle Kapitalgewinne auf Geschäftsvermögen aus Veräusserung, Verwertung, buchmässiger Aufwertung, Privatentnahme oder aus Verlegung in ausländische Betriebe oder Betriebsstätten; ausgenommen sind Gewinne aus Veräusserung von land- und forstwirtschaftlichen Grundstücken, soweit der Veräusserungserlös die Anlagekosten übersteigt. Artikel 12 Absatz 4 bleibt vorbehalten.
2    Als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbstständigen Erwerbstätigkeit dienen; Gleiches gilt für Beteiligungen von mindestens 20 Prozent am Grund- oder Stammkapital einer Kapitalgesellschaft oder Genossenschaft, sofern der Eigentümer sie im Zeitpunkt des Erwerbs zum Geschäftsvermögen erklärt.45
2bis    Wird eine Liegenschaft des Anlagevermögens aus dem Geschäftsvermögen in das Privatvermögen überführt, so kann die steuerpflichtige Person verlangen, dass im Zeitpunkt der Überführung nur die Differenz zwischen den Anlagekosten und dem massgebenden Einkommenssteuerwert besteuert wird. In diesem Fall gelten die Anlagekosten als neuer massgebender Einkommenssteuerwert, und die Besteuerung der übrigen stillen Reserven als Einkommen aus selbstständiger Erwerbstätigkeit wird bis zur Veräusserung der Liegenschaft aufgeschoben.46
2ter    Die Verpachtung eines Geschäftsbetriebs gilt nur auf Antrag der steuerpflichtigen Person als Überführung in das Privatvermögen.47
2quater    Wird bei einer Erbteilung der Geschäftsbetrieb nicht von allen Erben fortgeführt, so wird die Besteuerung der stillen Reserven auf Gesuch der den Betrieb übernehmenden Erben bis zur späteren Realisierung aufgeschoben, soweit diese Erben die bisherigen für die Einkommenssteuer massgebenden Werte übernehmen.48
2quinquies    Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Aktien, Anteilen an Gesellschaften mit beschränkter Haftung, Genossenschaftsanteilen und Partizipationsscheinen sowie Gewinne aus der Veräusserung solcher Beteiligungsrechte sind nach Abzug des zurechenbaren Aufwandes im Umfang von 50 Prozent steuerbar, wenn diese Beteiligungsrechte mindestens 10 Prozent des Grund- oder Stammkapitals einer Kapitalgesellschaft oder Genossenschaft darstellen. Die Kantone können eine höhere Besteuerung vorsehen. Die Teilbesteuerung auf Veräusserungsgewinnen wird nur gewährt, wenn die veräusserten Beteiligungsrechte mindestens ein Jahr im Eigentum der steuerpflichtigen Person oder Personenunternehmung waren.49
3    Stille Reserven einer Personenunternehmung (Einzelunternehmen, Personengesellschaft) werden bei Umstrukturierungen, insbesondere im Fall der Fusion, Spaltung oder Umwandlung, nicht besteuert, soweit die Steuerpflicht in der Schweiz fortbesteht und die bisher für die Einkommenssteuer massgeblichen Werte übernommen werden:50
a  bei der Übertragung von Vermögenswerten auf eine andere Personenunternehmung;
b  bei der Übertragung eines Betriebs oder eines Teilbetriebs auf eine juristische Person;
c  beim Austausch von Beteiligungs- oder Mitgliedschaftsrechten anlässlich von Umstrukturierungen im Sinne von Artikel 24 Absatz 3 oder von fusionsähnlichen Zusammenschlüssen.51
3bis    Bei einer Umstrukturierung nach Absatz 3 Buchstabe b werden die übertragenen stillen Reserven im Verfahren nach Artikel 53 nachträglich besteuert, soweit während der der Umstrukturierung nachfolgenden fünf Jahre Beteiligungs- oder Mitgliedschaftsrechte zu einem über dem übertragenen steuerlichen Eigenkapital liegenden Preis veräussert werden; die juristische Person kann in diesem Fall entsprechende, als Gewinn versteuerte stille Reserven geltend machen.52
4    Werden Gegenstände des betriebsnotwendigen Anlagevermögens ersetzt, so können die stillen Reserven auf die als Ersatz erworbenen Anlagegüter übertragen werden, wenn diese ebenfalls betriebsnotwendig sind und sich in der Schweiz befinden. Vorbehalten bleibt die Besteuerung beim Ersatz von Liegenschaften durch Gegenstände des beweglichen Vermögens.53
LHID déclarent imposable le produit de l'activité lucrative indépendante. Bien que la loi sur l'harmonisation fiscale ne le précise pas expressément, le revenu imposable du contribuable qui exerce une activité lucrative indépendante résulte, comme en matière d'impôt fédéral direct, du compte de résultats de la comptabilité tenue conformément aux règles de la comptabilité commerciale figurant aux art. 957
SR 220 Erste Abteilung: Allgemeine Bestimmungen Erster Titel: Die Entstehung der Obligationen Erster Abschnitt: Die Entstehung durch Vertrag
OR Art. 957 - 1 Der Pflicht zur Buchführung und Rechnungslegung gemäss den nachfolgenden Bestimmungen unterliegen:
1    Der Pflicht zur Buchführung und Rechnungslegung gemäss den nachfolgenden Bestimmungen unterliegen:
1  Einzelunternehmen und Personengesellschaften, die einen Umsatzerlös von mindestens 500 000 Franken im letzten Geschäftsjahr erzielt haben;
2  juristische Personen.
2    Lediglich über die Einnahmen und Ausgaben sowie über die Vermögenslage müssen Buch führen:
1  Einzelunternehmen und Personengesellschaften mit weniger als 500 000 Franken Umsatzerlös im letzten Geschäftsjahr;
2  diejenigen Vereine und Stiftungen, die nicht verpflichtet sind, sich ins Handelsregister eintragen zu lassen;
3  Stiftungen, die nach Artikel 83b Absatz 2 ZGB783 von der Pflicht zur Bezeichnung einer Revisionsstelle befreit sind.
3    Für die Unternehmen nach Absatz 2 gelten die Grundsätze ordnungsmässiger Buchführung sinngemäss.
à 964
SR 220 Erste Abteilung: Allgemeine Bestimmungen Erster Titel: Die Entstehung der Obligationen Erster Abschnitt: Die Entstehung durch Vertrag
OR Art. 964
CO. Le principe de l'autorité du bilan commercial trouve aussi application en droit cantonal harmonisé (Markus Reich, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, Kommentar zum schweizerischen Steuerrecht, vol. I/1, 2e éd., Bâle 2002, n° 21 ss ad art. 8
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 8 Selbständige Erwerbstätigkeit - 1 Zu den steuerbaren Einkünften aus selbständiger Erwerbstätigkeit zählen auch alle Kapitalgewinne auf Geschäftsvermögen aus Veräusserung, Verwertung, buchmässiger Aufwertung, Privatentnahme oder aus Verlegung in ausländische Betriebe oder Betriebsstätten; ausgenommen sind Gewinne aus Veräusserung von land- und forstwirtschaftlichen Grundstücken, soweit der Veräusserungserlös die Anlagekosten übersteigt. Artikel 12 Absatz 4 bleibt vorbehalten.
1    Zu den steuerbaren Einkünften aus selbständiger Erwerbstätigkeit zählen auch alle Kapitalgewinne auf Geschäftsvermögen aus Veräusserung, Verwertung, buchmässiger Aufwertung, Privatentnahme oder aus Verlegung in ausländische Betriebe oder Betriebsstätten; ausgenommen sind Gewinne aus Veräusserung von land- und forstwirtschaftlichen Grundstücken, soweit der Veräusserungserlös die Anlagekosten übersteigt. Artikel 12 Absatz 4 bleibt vorbehalten.
2    Als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbstständigen Erwerbstätigkeit dienen; Gleiches gilt für Beteiligungen von mindestens 20 Prozent am Grund- oder Stammkapital einer Kapitalgesellschaft oder Genossenschaft, sofern der Eigentümer sie im Zeitpunkt des Erwerbs zum Geschäftsvermögen erklärt.45
2bis    Wird eine Liegenschaft des Anlagevermögens aus dem Geschäftsvermögen in das Privatvermögen überführt, so kann die steuerpflichtige Person verlangen, dass im Zeitpunkt der Überführung nur die Differenz zwischen den Anlagekosten und dem massgebenden Einkommenssteuerwert besteuert wird. In diesem Fall gelten die Anlagekosten als neuer massgebender Einkommenssteuerwert, und die Besteuerung der übrigen stillen Reserven als Einkommen aus selbstständiger Erwerbstätigkeit wird bis zur Veräusserung der Liegenschaft aufgeschoben.46
2ter    Die Verpachtung eines Geschäftsbetriebs gilt nur auf Antrag der steuerpflichtigen Person als Überführung in das Privatvermögen.47
2quater    Wird bei einer Erbteilung der Geschäftsbetrieb nicht von allen Erben fortgeführt, so wird die Besteuerung der stillen Reserven auf Gesuch der den Betrieb übernehmenden Erben bis zur späteren Realisierung aufgeschoben, soweit diese Erben die bisherigen für die Einkommenssteuer massgebenden Werte übernehmen.48
2quinquies    Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Aktien, Anteilen an Gesellschaften mit beschränkter Haftung, Genossenschaftsanteilen und Partizipationsscheinen sowie Gewinne aus der Veräusserung solcher Beteiligungsrechte sind nach Abzug des zurechenbaren Aufwandes im Umfang von 50 Prozent steuerbar, wenn diese Beteiligungsrechte mindestens 10 Prozent des Grund- oder Stammkapitals einer Kapitalgesellschaft oder Genossenschaft darstellen. Die Kantone können eine höhere Besteuerung vorsehen. Die Teilbesteuerung auf Veräusserungsgewinnen wird nur gewährt, wenn die veräusserten Beteiligungsrechte mindestens ein Jahr im Eigentum der steuerpflichtigen Person oder Personenunternehmung waren.49
3    Stille Reserven einer Personenunternehmung (Einzelunternehmen, Personengesellschaft) werden bei Umstrukturierungen, insbesondere im Fall der Fusion, Spaltung oder Umwandlung, nicht besteuert, soweit die Steuerpflicht in der Schweiz fortbesteht und die bisher für die Einkommenssteuer massgeblichen Werte übernommen werden:50
a  bei der Übertragung von Vermögenswerten auf eine andere Personenunternehmung;
b  bei der Übertragung eines Betriebs oder eines Teilbetriebs auf eine juristische Person;
c  beim Austausch von Beteiligungs- oder Mitgliedschaftsrechten anlässlich von Umstrukturierungen im Sinne von Artikel 24 Absatz 3 oder von fusionsähnlichen Zusammenschlüssen.51
3bis    Bei einer Umstrukturierung nach Absatz 3 Buchstabe b werden die übertragenen stillen Reserven im Verfahren nach Artikel 53 nachträglich besteuert, soweit während der der Umstrukturierung nachfolgenden fünf Jahre Beteiligungs- oder Mitgliedschaftsrechte zu einem über dem übertragenen steuerlichen Eigenkapital liegenden Preis veräussert werden; die juristische Person kann in diesem Fall entsprechende, als Gewinn versteuerte stille Reserven geltend machen.52
4    Werden Gegenstände des betriebsnotwendigen Anlagevermögens ersetzt, so können die stillen Reserven auf die als Ersatz erworbenen Anlagegüter übertragen werden, wenn diese ebenfalls betriebsnotwendig sind und sich in der Schweiz befinden. Vorbehalten bleibt die Besteuerung beim Ersatz von Liegenschaften durch Gegenstände des beweglichen Vermögens.53
LHID). L'art. 4 de la loi fiscale valaisanne du 10 mars 1976 (LF/VS; RSVS 642.1) a sur ce point une teneur conforme la loi sur l'harmonisation fiscale.

Enfin, l'art. 46 al. 1
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 46 Veranlagung - 1 Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
1    Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
2    Abweichungen von der Steuererklärung gibt sie dem Steuerpflichtigen spätestens bei der Eröffnung der Veranlagungsverfügung bekannt.
3    Hat der Steuerpflichtige trotz Mahnung seine Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor.
et 3
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 46 Veranlagung - 1 Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
1    Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
2    Abweichungen von der Steuererklärung gibt sie dem Steuerpflichtigen spätestens bei der Eröffnung der Veranlagungsverfügung bekannt.
3    Hat der Steuerpflichtige trotz Mahnung seine Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor.
LHID a un contenu similaire à celui de l'art. 130 al. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 130 Durchführung - 1 Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
1    Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
2    Hat der Steuerpflichtige trotz Mahnung seine Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor. Sie kann dabei Erfahrungszahlen, Vermögensentwicklung und Lebensaufwand des Steuerpflichtigen berücksichtigen.
et 2
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 130 Durchführung - 1 Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
1    Die Veranlagungsbehörde prüft die Steuererklärung und nimmt die erforderlichen Untersuchungen vor.
2    Hat der Steuerpflichtige trotz Mahnung seine Verfahrenspflichten nicht erfüllt oder können die Steuerfaktoren mangels zuverlässiger Unterlagen nicht einwandfrei ermittelt werden, so nimmt die Veranlagungsbehörde die Veranlagung nach pflichtgemässem Ermessen vor. Sie kann dabei Erfahrungszahlen, Vermögensentwicklung und Lebensaufwand des Steuerpflichtigen berücksichtigen.
LIFD, dont les dispositions ont été correctement transposées en droit cantonal (art. 137 LF/VS).

Il s'ensuit que les considérations développées ci-dessus relatives au défaut de valeur probante de la comptabilité du recourant et à l'établissement de la taxation d'office s'appliquent aux impôts cantonal et communal. Par conséquent, le recours doit également être rejeté en ce qui concerne les impôts cantonal et communal.

6.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter un émolument judiciaire (art. 65
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 65 Gerichtskosten - 1 Die Gerichtskosten bestehen in der Gerichtsgebühr, der Gebühr für das Kopieren von Rechtsschriften, den Auslagen für Übersetzungen, ausgenommen solche zwischen Amtssprachen, und den Entschädigungen für Sachverständige sowie für Zeugen und Zeuginnen.
1    Die Gerichtskosten bestehen in der Gerichtsgebühr, der Gebühr für das Kopieren von Rechtsschriften, den Auslagen für Übersetzungen, ausgenommen solche zwischen Amtssprachen, und den Entschädigungen für Sachverständige sowie für Zeugen und Zeuginnen.
2    Die Gerichtsgebühr richtet sich nach Streitwert, Umfang und Schwierigkeit der Sache, Art der Prozessführung und finanzieller Lage der Parteien.
3    Sie beträgt in der Regel:
a  in Streitigkeiten ohne Vermögensinteresse 200-5000 Franken;
b  in den übrigen Streitigkeiten 200-100 000 Franken.
4    Sie beträgt 200-1000 Franken und wird nicht nach dem Streitwert bemessen in Streitigkeiten:
a  über Sozialversicherungsleistungen;
b  über Diskriminierungen auf Grund des Geschlechts;
c  aus einem Arbeitsverhältnis mit einem Streitwert bis zu 30 000 Franken;
d  nach den Artikeln 7 und 8 des Behindertengleichstellungsgesetzes vom 13. Dezember 200223.
5    Wenn besondere Gründe es rechtfertigen, kann das Bundesgericht bei der Bestimmung der Gerichtsgebühr über die Höchstbeträge hinausgehen, jedoch höchstens bis zum doppelten Betrag in den Fällen von Absatz 3 und bis zu 10 000 Franken in den Fällen von Absatz 4.
et 66
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 66 Erhebung und Verteilung der Gerichtskosten - 1 Die Gerichtskosten werden in der Regel der unterliegenden Partei auferlegt. Wenn die Umstände es rechtfertigen, kann das Bundesgericht die Kosten anders verteilen oder darauf verzichten, Kosten zu erheben.
1    Die Gerichtskosten werden in der Regel der unterliegenden Partei auferlegt. Wenn die Umstände es rechtfertigen, kann das Bundesgericht die Kosten anders verteilen oder darauf verzichten, Kosten zu erheben.
2    Wird ein Fall durch Abstandserklärung oder Vergleich erledigt, so kann auf die Erhebung von Gerichtskosten ganz oder teilweise verzichtet werden.
3    Unnötige Kosten hat zu bezahlen, wer sie verursacht.
4    Dem Bund, den Kantonen und den Gemeinden sowie mit öffentlich-rechtlichen Aufgaben betrauten Organisationen dürfen in der Regel keine Gerichtskosten auferlegt werden, wenn sie in ihrem amtlichen Wirkungskreis, ohne dass es sich um ihr Vermögensinteresse handelt, das Bundesgericht in Anspruch nehmen oder wenn gegen ihre Entscheide in solchen Angelegenheiten Beschwerde geführt worden ist.
5    Mehrere Personen haben die ihnen gemeinsam auferlegten Gerichtskosten, wenn nichts anderes bestimmt ist, zu gleichen Teilen und unter solidarischer Haftung zu tragen.
LTF). Il n'a pas droit à des dépens (art. 68
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 68 Parteientschädigung - 1 Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
1    Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
2    Die unterliegende Partei wird in der Regel verpflichtet, der obsiegenden Partei nach Massgabe des Tarifs des Bundesgerichts alle durch den Rechtsstreit verursachten notwendigen Kosten zu ersetzen.
3    Bund, Kantonen und Gemeinden sowie mit öffentlich-rechtlichen Aufgaben betrauten Organisationen wird in der Regel keine Parteientschädigung zugesprochen, wenn sie in ihrem amtlichen Wirkungskreis obsiegen.
4    Artikel 66 Absätze 3 und 5 ist sinngemäss anwendbar.
5    Der Entscheid der Vorinstanz über die Parteientschädigung wird vom Bundesgericht je nach Ausgang des Verfahrens bestätigt, aufgehoben oder geändert. Dabei kann das Gericht die Entschädigung nach Massgabe des anwendbaren eidgenössischen oder kantonalen Tarifs selbst festsetzen oder die Festsetzung der Vorinstanz übertragen.
LTF).

Par ces motifs, le Tribunal fédéral prononce:

1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2003 à 2006.

2.
Le recours est rejeté en tant qu'il concerne l'impôt cantonal et communal direct des périodes fiscales 2003 à 2006.

3.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.

4.
Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions du canton du Valais, à la Commission cantonale de recours en matière fiscale du canton du Valais et à l'Administration fédérale des contributions.

Lausanne, le 13 octobre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:

Zünd Dubey