Bundesgericht
Tribunal fédéral
Tribunale federale
Tribunal federal

2C 814/2017

Arrêt du 17 septembre 2018

IIe Cour de droit public

Composition
MM. et Mme les Juges fédéraux Zünd, Juge présidant, Aubry Girardin et Donzallaz.
Greffière : Mme Vuadens.

Participants à la procédure
X.________,
représenté par Me Romain Jordan, avocat,
recourant,

contre

Administration fiscale cantonale genevoise.

Objet
Impôts cantonal et communal et impôt fédéral direct, périodes fiscales 2001 à 2007,

recours contre l'arrêt de la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, du 2 août 2017 (A/3025/2015-ICCIFD).

Faits :

A.

A.a. X.________ est actionnaire et unique administrateur de A.________ SA, une société anonyme qui a pour but des travaux et services dans le domaine de la construction. A.________ SA détenait la moitié du capital-actions de B.________ Promotions Immobilières SA (ci-après: B.________, désormais en liquidation) qui avait pour but la promotion immobilière et toutes prestations de service s'y rapportant. X.________ était membre du conseil d'administration de B.________ jusqu'en novembre 2009.
Par contrat du 22 septembre 1998, B.________ a donné à bail à A.________ SA une maison d'habitation sise sur la commune de C.________ (canton de Genève), pour un loyer annuel de 18'000 fr., charges non comprises. X.________ y réside depuis le 4 mai 1999.
Dans la feuille C (prestations versées aux membres de l'administration et aux autres organes) des déclarations fiscales de A.________ SA pour les années 2006 et 2007, X.________ figurait en qualité d'actionnaire, associé ou personne proche.

B.
Le 21 octobre 2011, l'Administration fiscale cantonale (ci-après: l'Administration cantonale) a informé X.________ de l'ouverture à son encontre d'une procédure en rappel d'impôt ainsi que d'une procédure pénale pour soustraction d'impôt pour les périodes fiscales 2001 à 2007. Il aurait bénéficié de prestations appréciables en argent de la part de A.________ SA durant ces périodes, notamment sous la forme de la mise à disposition gratuite d'un logement. Il n'avait par ailleurs jamais déclaré les actions qu'il détenait dans cette société.
Par sommation du 18 octobre 2012, l'Administration cantonale a demandé au contribuable de lui transmettre les justificatifs des paiements de son loyer pour les années 2001 à 2010.
Le 6 janvier 2014, l'Administration cantonale a notifié à X.________ des bordereaux de rappel d'impôt pour les périodes fiscales 2001 à 2007, les années 2002 et 2003 ayant fait dans ce cadre l'objet d'une taxation d'office. Les reprises concernant le loyer s'élevaient à 27'849 fr. pour 2001 et 2002, à 24'951 fr. pour 2003, à 31'822 fr. pour 2004, à 32'096 fr. pour 2005, à 27'020 fr. pour 2006 et à 27'288 fr. pour 2007 tant pour l'impôt direct (IFD) que pour l'impôt cantonal et communal (ICC). L'Administration cantonale lui a également notifié des bordereaux d'amende. Le montant des amendes représentait une quotité de 1.25 fois le montant de l'impôt soustrait.
Le 6 février 2014, X.________ a formé réclamation contre les bordereaux, contestant les reprises effectuées. ll faisait en substance valoir que la villa de C.________ était utilisée comme maison-témoin pour des acquéreurs potentiels de promotions immobilières auxquelles A.________ SA participait. Il n'avait pas pu se déterminer sur l'assertion, nouvelle, selon laquelle il détenait des actions de A.________ SA.
Par décision du 3 août 2015, l'Administration cantonale a rejeté la réclamation et confirmé reprises et amendes. X.________ avait reconnu être propriétaire d'actions A.________ SA, mais ne les avait jamais déclarées.
Le 3 septembre 2015, X.________ a recouru contre la décision sur réclamation du 3 août 2015 auprès du Tribunal administratif de première instance du canton de Genève (ci-après: le Tribunal administratif), concluant à sa nullité, subsidiairement à son annulation.
Par jugement du 3 mai 2016, le Tribunal administratif a rejeté le recours. Il a confirmé les reprises effectuées dans la fortune imposable du contribuable pour les périodes fiscales 2001 à 2007, liées à la détention des actions de A.________ SA, et confirmé que le fait d'avoir eu gratuitement à sa disposition la villa dont le loyer était payé par A.________ SA représentait une prestation appréciable en argent imposable. Il a par ailleurs d'emblée confirmé le montant des amendes pour soustraction d'impôt qui avaient été fixées dans les décision sur réclamation, qui étaient selon lui entrées en force puisque que l'intéressé ne les avait pas expressément contestées dans son recours.
Le 6 juin 2016, X.________ a recouru contre le jugement du 3 mai 2016 du Tribunal administratif auprès de la Cour de justice, Chambre administrative, du canton de Genève (ci-après: la Cour de justice), concluant à son annulation ainsi qu'à celle de la décision sur réclamation du 3 août 2015. En substance, il a fait valoir que c'était à tort que le Tribunal administratif avait estimé qu'il n'avait pas recouru contre les décisions d'amende pour soustraction d'impôt; les amendes étaient du reste étroitement liées aux reprises fiscales qu'il avait contestées. Le Tribunal administratif avait violé la maxime inquisitoire et le principe in dubio pro reoet commis un déni de justice en n'établissant pas les faits pertinents susceptibles de déterminer la réalisation ou non des conditions de la soustraction d'impôt. Par ailleurs, les reprises effectuées dans son revenu imposable n'étaient pas justifiées, car il n'avait pas bénéficié de prestations appréciables en argent de la part de A.________ SA. Il n'était par ailleurs propriétaire des actions de A.________ SA que depuis 2009.
Dans son arrêt du 2 août 2017, la Cour de justice a d'abord admis que le litige portait bien tant sur le rappel d'impôt que sur la question de la soustraction d'impôt. Au fond, elle a confirmé les reprises effectuées dans la fortune imposable de X.________ pour les périodes fiscales 2001 à 2007, le contribuable s'étant limité à alléguer sans aucune preuve qu'il n'était actionnaire que depuis 2009. La Cour de justice a également confirmé que, durant ces mêmes périodes fiscales, X.________ avait obtenu un avantage appréciable en argent de la part de A.________ SA, du fait qu'il avait vécu gratuitement dans la villa sise à C.________. La prescription du droit de taxer avait été atteinte s'agissant de la période fiscale 2001, mais pas pour les périodes fiscales 2002 et 2003, qui avaient toutes deux fait l'objet d'une taxation d'office. Le droit de sanctionner la soustraction d'impôt consommée commise durant la période 2001 était en revanche prescrit. La quotité d'amende retenue par l'Administration cantonale, correspondant à 1.25 fois le montant de l'impôt soustrait, ne prêtait pas le flanc à la critique.
En définitive, la Cour de justice a partiellement admis le recours, constaté la prescription du droit de procéder à la taxation de la période fiscale 2001 en matière d'IFD et d'ICC, constaté la prescription du droit de sanctionner la soustraction d'impôt en matière d'IFD et d'ICC pour la période fiscale 2001 et confirmé le jugement du Tribunal administratif pour le surplus.

C.
Agissant par la voie du recours en matière de droit public, X.________ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler et de réformer l'arrêt du 2 août 2017 de la Cour de justice en ce sens que les reprises et amendes prononcées par l'Administration cantonale dans sa décision du 3 août 2015 soient toutes annulées.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. Dans sa réponse, l'Administration cantonale conclut au rejet du recours, sous suite de frais. L'Administration fédérale des contributions se rallie au dispositif et aux considérants de l'arrêt attaqué, ainsi qu'aux observations de l'Administration cantonale. Le recourant a répliqué.

Considérant en droit :

I. Recevabilité et points de procédure

1.
La décision attaquée est finale (art. 90
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 90 Endentscheide - Die Beschwerde ist zulässig gegen Entscheide, die das Verfahren abschliessen.
LTF) et a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 86 Vorinstanzen im Allgemeinen - 1 Die Beschwerde ist zulässig gegen Entscheide:
1    Die Beschwerde ist zulässig gegen Entscheide:
a  des Bundesverwaltungsgerichts;
b  des Bundesstrafgerichts;
c  der unabhängigen Beschwerdeinstanz für Radio und Fernsehen;
d  letzter kantonaler Instanzen, sofern nicht die Beschwerde an das Bundesverwaltungsgericht zulässig ist.
2    Die Kantone setzen als unmittelbare Vorinstanzen des Bundesgerichts obere Gerichte ein, soweit nicht nach einem anderen Bundesgesetz Entscheide anderer richterlicher Behörden der Beschwerde an das Bundesgericht unterliegen.
3    Für Entscheide mit vorwiegend politischem Charakter können die Kantone anstelle eines Gerichts eine andere Behörde als unmittelbare Vorinstanz des Bundesgerichts einsetzen.
et al. 2 LTF), dans une cause de droit public (art. 82 let. a
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 82 Grundsatz - Das Bundesgericht beurteilt Beschwerden:
a  gegen Entscheide in Angelegenheiten des öffentlichen Rechts;
b  gegen kantonale Erlasse;
c  betreffend die politische Stimmberechtigung der Bürger und Bürgerinnen sowie betreffend Volkswahlen und -abstimmungen.
LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'art. 83
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 83 Ausnahmen - Die Beschwerde ist unzulässig gegen:
a  Entscheide auf dem Gebiet der inneren oder äusseren Sicherheit des Landes, der Neutralität, des diplomatischen Schutzes und der übrigen auswärtigen Angelegenheiten, soweit das Völkerrecht nicht einen Anspruch auf gerichtliche Beurteilung einräumt;
b  Entscheide über die ordentliche Einbürgerung;
c  Entscheide auf dem Gebiet des Ausländerrechts betreffend:
c1  die Einreise,
c2  Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt,
c3  die vorläufige Aufnahme,
c4  die Ausweisung gestützt auf Artikel 121 Absatz 2 der Bundesverfassung und die Wegweisung,
c5  Abweichungen von den Zulassungsvoraussetzungen,
c6  die Verlängerung der Grenzgängerbewilligung, den Kantonswechsel, den Stellenwechsel von Personen mit Grenzgängerbewilligung sowie die Erteilung von Reisepapieren an schriftenlose Ausländerinnen und Ausländer;
d  Entscheide auf dem Gebiet des Asyls, die:
d1  vom Bundesverwaltungsgericht getroffen worden sind, ausser sie betreffen Personen, gegen die ein Auslieferungsersuchen des Staates vorliegt, vor welchem sie Schutz suchen,
d2  von einer kantonalen Vorinstanz getroffen worden sind und eine Bewilligung betreffen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt;
e  Entscheide über die Verweigerung der Ermächtigung zur Strafverfolgung von Behördenmitgliedern oder von Bundespersonal;
f  Entscheide auf dem Gebiet der öffentlichen Beschaffungen, wenn:
fbis  Entscheide des Bundesverwaltungsgerichts über Verfügungen nach Artikel 32i des Personenbeförderungsgesetzes vom 20. März 200963;
f1  sich keine Rechtsfrage von grundsätzlicher Bedeutung stellt; vorbehalten bleiben Beschwerden gegen Beschaffungen des Bundesverwaltungsgerichts, des Bundesstrafgerichts, des Bundespatentgerichts, der Bundesanwaltschaft sowie der oberen kantonalen Gerichtsinstanzen, oder
f2  der geschätzte Wert des zu vergebenden Auftrags den massgebenden Schwellenwert nach Artikel 52 Absatz 1 in Verbindung mit Anhang 4 Ziffer 2 des Bundesgesetzes vom 21. Juni 201961 über das öffentliche Beschaffungswesen nicht erreicht;
g  Entscheide auf dem Gebiet der öffentlich-rechtlichen Arbeitsverhältnisse, wenn sie eine nicht vermögensrechtliche Angelegenheit, nicht aber die Gleichstellung der Geschlechter betreffen;
h  Entscheide auf dem Gebiet der internationalen Amtshilfe, mit Ausnahme der Amtshilfe in Steuersachen;
i  Entscheide auf dem Gebiet des Militär-, Zivil- und Zivilschutzdienstes;
j  Entscheide auf dem Gebiet der wirtschaftlichen Landesversorgung, die bei schweren Mangellagen getroffen worden sind;
k  Entscheide betreffend Subventionen, auf die kein Anspruch besteht;
l  Entscheide über die Zollveranlagung, wenn diese auf Grund der Tarifierung oder des Gewichts der Ware erfolgt;
m  Entscheide über die Stundung oder den Erlass von Abgaben; in Abweichung davon ist die Beschwerde zulässig gegen Entscheide über den Erlass der direkten Bundessteuer oder der kantonalen oder kommunalen Einkommens- und Gewinnsteuer, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt oder es sich aus anderen Gründen um einen besonders bedeutenden Fall handelt;
n  Entscheide auf dem Gebiet der Kernenergie betreffend:
n1  das Erfordernis einer Freigabe oder der Änderung einer Bewilligung oder Verfügung,
n2  die Genehmigung eines Plans für Rückstellungen für die vor Ausserbetriebnahme einer Kernanlage anfallenden Entsorgungskosten,
n3  Freigaben;
o  Entscheide über die Typengenehmigung von Fahrzeugen auf dem Gebiet des Strassenverkehrs;
p  Entscheide des Bundesverwaltungsgerichts auf dem Gebiet des Fernmeldeverkehrs, des Radios und des Fernsehens sowie der Post betreffend:68
p1  Konzessionen, die Gegenstand einer öffentlichen Ausschreibung waren,
p2  Streitigkeiten nach Artikel 11a des Fernmeldegesetzes vom 30. April 199769,
p3  Streitigkeiten nach Artikel 8 des Postgesetzes vom 17. Dezember 201071;
q  Entscheide auf dem Gebiet der Transplantationsmedizin betreffend:
q1  die Aufnahme in die Warteliste,
q2  die Zuteilung von Organen;
r  Entscheide auf dem Gebiet der Krankenversicherung, die das Bundesverwaltungsgericht gestützt auf Artikel 3472 des Verwaltungsgerichtsgesetzes vom 17. Juni 200573 (VGG) getroffen hat;
s  Entscheide auf dem Gebiet der Landwirtschaft betreffend:
s1  ...
s2  die Abgrenzung der Zonen im Rahmen des Produktionskatasters;
t  Entscheide über das Ergebnis von Prüfungen und anderen Fähigkeitsbewertungen, namentlich auf den Gebieten der Schule, der Weiterbildung und der Berufsausübung;
u  Entscheide auf dem Gebiet der öffentlichen Kaufangebote (Art. 125-141 des Finanzmarktinfrastrukturgesetzes vom 19. Juni 201576);
v  Entscheide des Bundesverwaltungsgerichts über Meinungsverschiedenheiten zwischen Behörden in der innerstaatlichen Amts- und Rechtshilfe;
w  Entscheide auf dem Gebiet des Elektrizitätsrechts betreffend die Plangenehmigung von Starkstromanlagen und Schwachstromanlagen und die Entscheide auf diesem Gebiet betreffend Enteignung der für den Bau oder Betrieb solcher Anlagen notwendigen Rechte, wenn sich keine Rechtsfrage von grundsätzlicher Bedeutung stellt;
x  Entscheide betreffend die Gewährung von Solidaritätsbeiträgen nach dem Bundesgesetz vom 30. September 201680 über die Aufarbeitung der fürsorgerischen Zwangsmassnahmen und Fremdplatzierungen vor 1981, ausser wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt oder aus anderen Gründen ein besonders bedeutender Fall vorliegt;
y  Entscheide des Bundesverwaltungsgerichts in Verständigungsverfahren zur Vermeidung einer den anwendbaren internationalen Abkommen im Steuerbereich nicht entsprechenden Besteuerung;
z  Entscheide betreffend die in Artikel 71c Absatz 1 Buchstabe b des Energiegesetzes vom 30. September 201683 genannten Baubewilligungen und notwendigerweise damit zusammenhängenden in der Kompetenz der Kantone liegenden Bewilligungen für Windenergieanlagen von nationalem Interesse, wenn sich keine Rechtsfrage von grundsätzlicher Bedeutung stellt.
LTF. La voie du recours en matière de droit public est donc ouverte. La jurisprudence autorise le dépôt d'un seul acte de recours au Tribunal fédéral, lorsqu'il ressort clairement du mémoire qu'il porte sur les deux types d'impôt (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.), ce qui est le cas en l'espèce. Le recours a par ailleurs été déposé en temps utile (cf. art. 46 al. 1 let. b
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 46 Stillstand - 1 Gesetzlich oder richterlich nach Tagen bestimmte Fristen stehen still:
1    Gesetzlich oder richterlich nach Tagen bestimmte Fristen stehen still:
a  vom siebenten Tag vor Ostern bis und mit dem siebenten Tag nach Ostern;
b  vom 15. Juli bis und mit dem 15. August;
c  vom 18. Dezember bis und mit dem 2. Januar.
2    Absatz 1 gilt nicht in Verfahren betreffend:
a  die aufschiebende Wirkung und andere vorsorgliche Massnahmen;
b  die Wechselbetreibung;
c  Stimmrechtssachen (Art. 82 Bst. c);
d  die internationale Rechtshilfe in Strafsachen und die internationale Amtshilfe in Steuersachen;
e  die öffentlichen Beschaffungen.18
et 100 al. 1
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 100 Beschwerde gegen Entscheide - 1 Die Beschwerde gegen einen Entscheid ist innert 30 Tagen nach der Eröffnung der vollständigen Ausfertigung beim Bundesgericht einzureichen.
1    Die Beschwerde gegen einen Entscheid ist innert 30 Tagen nach der Eröffnung der vollständigen Ausfertigung beim Bundesgericht einzureichen.
2    Die Beschwerdefrist beträgt zehn Tage:
a  bei Entscheiden der kantonalen Aufsichtsbehörden in Schuldbetreibungs- und Konkurssachen;
b  bei Entscheiden auf den Gebieten der internationalen Rechtshilfe in Strafsachen und der internationalen Amtshilfe in Steuersachen;
c  bei Entscheiden über die Rückgabe eines Kindes nach dem Europäischen Übereinkommen vom 20. Mai 198089 über die Anerkennung und Vollstreckung von Entscheidungen über das Sorgerecht für Kinder und die Wiederherstellung des Sorgerechts oder nach dem Übereinkommen vom 25. Oktober 198090 über die zivilrechtlichen Aspekte internationaler Kindesentführung;
d  bei Entscheiden des Bundespatentgerichts über die Erteilung einer Lizenz nach Artikel 40d des Patentgesetzes vom 25. Juni 195492.
3    Die Beschwerdefrist beträgt fünf Tage:
a  bei Entscheiden der kantonalen Aufsichtsbehörden in Schuldbetreibungs- und Konkurssachen im Rahmen der Wechselbetreibung;
b  bei Entscheiden der Kantonsregierungen über Beschwerden gegen eidgenössische Abstimmungen.
4    Bei Entscheiden der Kantonsregierungen über Beschwerden gegen die Nationalratswahlen beträgt die Beschwerdefrist drei Tage.
5    Bei Beschwerden wegen interkantonaler Kompetenzkonflikte beginnt die Beschwerdefrist spätestens dann zu laufen, wenn in beiden Kantonen Entscheide getroffen worden sind, gegen welche beim Bundesgericht Beschwerde geführt werden kann.
6    ...93
7    Gegen das unrechtmässige Verweigern oder Verzögern eines Entscheids kann jederzeit Beschwerde geführt werden.
LTF) et dans les formes prescrites (cf. art. 42
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 42 Rechtsschriften - 1 Rechtsschriften sind in einer Amtssprache abzufassen und haben die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift zu enthalten.
1    Rechtsschriften sind in einer Amtssprache abzufassen und haben die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift zu enthalten.
2    In der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Ist eine Beschwerde nur unter der Voraussetzung zulässig, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt oder aus anderen Gründen ein besonders bedeutender Fall vorliegt, so ist auszuführen, warum die jeweilige Voraussetzung erfüllt ist. 14 15
3    Die Urkunden, auf die sich die Partei als Beweismittel beruft, sind beizulegen, soweit die Partei sie in Händen hat; richtet sich die Rechtsschrift gegen einen Entscheid, so ist auch dieser beizulegen.
4    Bei elektronischer Einreichung muss die Rechtsschrift von der Partei oder ihrem Vertreter beziehungsweise ihrer Vertreterin mit einer qualifizierten elektronischen Signatur gemäss Bundesgesetz vom 18. März 201616 über die elektronische Signatur versehen werden. Das Bundesgericht bestimmt in einem Reglement:
a  das Format der Rechtsschrift und ihrer Beilagen;
b  die Art und Weise der Übermittlung;
c  die Voraussetzungen, unter denen bei technischen Problemen die Nachreichung von Dokumenten auf Papier verlangt werden kann.17
5    Fehlen die Unterschrift der Partei oder ihrer Vertretung, deren Vollmacht oder die vorgeschriebenen Beilagen oder ist die Vertretung nicht zugelassen, so wird eine angemessene Frist zur Behebung des Mangels angesetzt mit der Androhung, dass die Rechtsschrift sonst unbeachtet bleibt.
6    Unleserliche, ungebührliche, unverständliche, übermässig weitschweifige oder nicht in einer Amtssprache verfasste Rechtsschriften können in gleicher Weise zur Änderung zurückgewiesen werden.
7    Rechtsschriften, die auf querulatorischer oder rechtsmissbräuchlicher Prozessführung beruhen, sind unzulässig.
LTF) par le destinataire de la décision attaquée, qui a qualité pour recourir (cf. art. 89 al. 1
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 89 Beschwerderecht - 1 Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist berechtigt, wer:
1    Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist berechtigt, wer:
a  vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat;
b  durch den angefochtenen Entscheid oder Erlass besonders berührt ist; und
c  ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat.
2    Zur Beschwerde sind ferner berechtigt:
a  die Bundeskanzlei, die Departemente des Bundes oder, soweit das Bundesrecht es vorsieht, die ihnen unterstellten Dienststellen, wenn der angefochtene Akt die Bundesgesetzgebung in ihrem Aufgabenbereich verletzen kann;
b  das zuständige Organ der Bundesversammlung auf dem Gebiet des Arbeitsverhältnisses des Bundespersonals;
c  Gemeinden und andere öffentlich-rechtliche Körperschaften, wenn sie die Verletzung von Garantien rügen, die ihnen die Kantons- oder Bundesverfassung gewährt;
d  Personen, Organisationen und Behörden, denen ein anderes Bundesgesetz dieses Recht einräumt.
3    In Stimmrechtssachen (Art. 82 Bst. c) steht das Beschwerderecht ausserdem jeder Person zu, die in der betreffenden Angelegenheit stimmberechtigt ist.
LTF). Il convient donc d'entrer en matière.

2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (art. 106 al. 1
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 106 Rechtsanwendung - 1 Das Bundesgericht wendet das Recht von Amtes wegen an.
1    Das Bundesgericht wendet das Recht von Amtes wegen an.
2    Es prüft die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist.
LTF). Conformément à l'art. 106 al. 2
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 106 Rechtsanwendung - 1 Das Bundesgericht wendet das Recht von Amtes wegen an.
1    Das Bundesgericht wendet das Recht von Amtes wegen an.
2    Es prüft die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist.
LTF et en dérogation à l'art. 106 al. 1
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 106 Rechtsanwendung - 1 Das Bundesgericht wendet das Recht von Amtes wegen an.
1    Das Bundesgericht wendet das Recht von Amtes wegen an.
2    Es prüft die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist.
LTF, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux ainsi que celle de dispositions de droit cantonal que si le grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (ATF 142 I 99 consid. 1.7.2 p. 106; 141 I 36 consid. 1.3 p 41). Le grief de violation du droit cantonal ne peut en principe pas être soulevé dans un recours devant le Tribunal fédéral. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9
SR 101 Bundesverfassung der Schweizerischen Eidgenossenschaft vom 18. April 1999
BV Art. 9 Schutz vor Willkür und Wahrung von Treu und Glauben - Jede Person hat Anspruch darauf, von den staatlichen Organen ohne Willkür und nach Treu und Glauben behandelt zu werden.
Cst. ou contraire à un droit fondamental (cf. ATF 142 I 172 consid. 4.3 p. 176; 135 III 513 consid. 4.3 p. 521 s.; 133 III 462 consid. 2.3 p. 466). S'agissant du droit cantonal harmonisé, le Tribunal fédéral en vérifie librement la conformité et son application par les instances cantonales aux dispositions de la LHID, sauf si cette loi laisse une certaine marge de manoeuvre aux cantons, auquel cas l'examen du Tribunal fédéral est
limité à l'examen de la violation de droits constitutionnels dûment invoqués, en particulier l'arbitraire (cf. ATF 142 V 94 consid. 1.3 p. 96; V 513 consid. 4.2 p. 516; 134 II 207 consid. 2 p. 210).

3.
Pour statuer, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (art. 105 al. 1
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 105 Massgebender Sachverhalt - 1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat.
1    Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat.
2    Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht.
3    Richtet sich die Beschwerde gegen einen Entscheid über die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung, so ist das Bundesgericht nicht an die Sachverhaltsfeststellung der Vorinstanz gebunden.95
LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (ATF 143 IV 241 consid. 2.3.1 p. 24) - ou en violation du droit au sens de l'art. 95
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 95 Schweizerisches Recht - Mit der Beschwerde kann die Verletzung gerügt werden von:
a  Bundesrecht;
b  Völkerrecht;
c  kantonalen verfassungsmässigen Rechten;
d  kantonalen Bestimmungen über die politische Stimmberechtigung der Bürger und Bürgerinnen und über Volkswahlen und -abstimmungen;
e  interkantonalem Recht.
LTF (art. 105 al. 2
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 105 Massgebender Sachverhalt - 1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat.
1    Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat.
2    Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht.
3    Richtet sich die Beschwerde gegen einen Entscheid über die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung, so ist das Bundesgericht nicht an die Sachverhaltsfeststellung der Vorinstanz gebunden.95
LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (cf. art. 97 al. 1
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 97 Unrichtige Feststellung des Sachverhalts - 1 Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann.
1    Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann.
2    Richtet sich die Beschwerde gegen einen Entscheid über die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung, so kann jede unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt werden.86
LTF), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de l'art. 106 al. 2
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 106 Rechtsanwendung - 1 Das Bundesgericht wendet das Recht von Amtes wegen an.
1    Das Bundesgericht wendet das Recht von Amtes wegen an.
2    Es prüft die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist.
LTF. Sinon, il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF 140 III 264 consid. 2.3 p. 266; 136 II 101 consid. 3 p. 104 s.).

II. Griefs formels

4.
Le recourant reproche à la Cour de justice de ne pas avoir renvoyé la cause au Tribunal administratif pour qu'il examine le bien-fondé des amendes pour soustraction d'impôt prononcées par l'Administration cantonale, quand bien même elle a admis, contrairement à ce qu'avait retenu cette première instance, que ce point faisait bien partie du litige. Il y voit un déni de justice formel prohibé par l'art. 29 al. 1
SR 101 Bundesverfassung der Schweizerischen Eidgenossenschaft vom 18. April 1999
BV Art. 29 Allgemeine Verfahrensgarantien - 1 Jede Person hat in Verfahren vor Gerichts- und Verwaltungsinstanzen Anspruch auf gleiche und gerechte Behandlung sowie auf Beurteilung innert angemessener Frist.
1    Jede Person hat in Verfahren vor Gerichts- und Verwaltungsinstanzen Anspruch auf gleiche und gerechte Behandlung sowie auf Beurteilung innert angemessener Frist.
2    Die Parteien haben Anspruch auf rechtliches Gehör.
3    Jede Person, die nicht über die erforderlichen Mittel verfügt, hat Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand.
Cst. et un irrespect du double degré de juridiction garanti par l'art. 50
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 50 - 1 Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
1    Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
2    Der Rekurs ist zu begründen. Es können alle Mängel des angefochtenen Entscheides und des vorangegangenen Verfahrens gerügt werden.
3    Der Steuerpflichtige und die kantonale Steuerverwaltung können den Rekursentscheid an eine weitere verwaltungsunabhängige kantonale Instanz ziehen, wenn das kantonale Recht dies vorsieht.
LHID, dès lors que le canton de Genève a fait usage de la possibilité, prévue par l'art. 50 al. 3
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 50 - 1 Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
1    Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
2    Der Rekurs ist zu begründen. Es können alle Mängel des angefochtenen Entscheides und des vorangegangenen Verfahrens gerügt werden.
3    Der Steuerpflichtige und die kantonale Steuerverwaltung können den Rekursentscheid an eine weitere verwaltungsunabhängige kantonale Instanz ziehen, wenn das kantonale Recht dies vorsieht.
LHID, de prévoir une double instance judiciaire cantonale.
Ces deux griefs sont examinés successivement ci-après.

4.1. Selon la jurisprudence, l'autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinente pour l'issue du litige, commet un déni de justice formel proscrit par l'art. 29 al. 1
SR 101 Bundesverfassung der Schweizerischen Eidgenossenschaft vom 18. April 1999
BV Art. 29 Allgemeine Verfahrensgarantien - 1 Jede Person hat in Verfahren vor Gerichts- und Verwaltungsinstanzen Anspruch auf gleiche und gerechte Behandlung sowie auf Beurteilung innert angemessener Frist.
1    Jede Person hat in Verfahren vor Gerichts- und Verwaltungsinstanzen Anspruch auf gleiche und gerechte Behandlung sowie auf Beurteilung innert angemessener Frist.
2    Die Parteien haben Anspruch auf rechtliches Gehör.
3    Jede Person, die nicht über die erforderlichen Mittel verfügt, hat Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand.
Cst. (ATF 117 Ia 116 en lien avec l'art. 4 aCst.; arrêts 1C 326/2016 du 7 décembre 2017 consid. 3.1 non publié in ATF 144 II 41; 2C 1014/2013 du 22 août 2014 consid. 7.1 non publié in ATF 140 I 271).
En l'occurrence, force est de constater que la Cour de justice a bien traité le grief de le recourant et qu'elle l'a admis. En effet, elle a jugé, contrairement à ce qu'avait retenu le Tribunal administratif, que le litige comprenait également la question de savoir si les bordereaux d'amendes pour soustraction d'impôt étaient conformes au droit (consid. 4 de l'arrêt attaqué). On ne discerne donc pas en quoi l'instance précédente aurait commis un déni de justice formel au détriment du recourant.

4.2. Selon l'art. 50 al. 3
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 50 - 1 Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
1    Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
2    Der Rekurs ist zu begründen. Es können alle Mängel des angefochtenen Entscheides und des vorangegangenen Verfahrens gerügt werden.
3    Der Steuerpflichtige und die kantonale Steuerverwaltung können den Rekursentscheid an eine weitere verwaltungsunabhängige kantonale Instanz ziehen, wenn das kantonale Recht dies vorsieht.
LHID, le contribuable et l'Administration fiscale cantonale peuvent porter la décision sur recours devant une instance cantonale supérieure indépendante de l'administration, à condition que le droit cantonal le prévoie. Le canton de Genève a fait usage de cette possibilité (cf. art. 7 de la loi genevoise sur la procédure fiscale [LPFisc; RSGE D 3 17). L'art. 50 al. 3
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 50 - 1 Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
1    Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
2    Der Rekurs ist zu begründen. Es können alle Mängel des angefochtenen Entscheides und des vorangegangenen Verfahrens gerügt werden.
3    Der Steuerpflichtige und die kantonale Steuerverwaltung können den Rekursentscheid an eine weitere verwaltungsunabhängige kantonale Instanz ziehen, wenn das kantonale Recht dies vorsieht.
LHID s'applique par analogie à la procédure pour soustraction d'impôt, par le renvoi de l'art. 57 bis al. 3
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 57bis Verfahren - 1 Nach Abschluss der Untersuchung erlässt die zuständige kantonale Behörde eine Verfügung, die sie der betroffenen Person schriftlich eröffnet.207
1    Nach Abschluss der Untersuchung erlässt die zuständige kantonale Behörde eine Verfügung, die sie der betroffenen Person schriftlich eröffnet.207
2    Entscheide der Steuerbehörden bei Hinterziehungstatbeständen sind vor Verwaltungs- und Verwaltungsgerichtsbehörden anfechtbar. Gegen letztinstanzliche kantonale Entscheide kann beim Bundesgericht nach Massgabe des Bundesgerichtsgesetzes vom 17. Juni 2005208 Beschwerde in öffentlich-rechtlichen Angelegenheiten geführt werden. Die Strafgerichtsbarkeit ist ausgeschlossen.209
3    Die Vorschriften über die Verfahrensgrundsätze, das Veranlagungs- und das Rekursverfahren gelten sinngemäss.
LHID.
La LHID ne contient pas de règle obligeant la seconde instance judiciaire cantonale de renvoyer la cause à la première instance si cette dernière n'a à tort pas traité un grief. Par ailleurs, la seconde instance cantonale revoit à Genève les faits et le droit et dispose ainsi du même pouvoir d'examen que la première instance (cf. ATF 140 I 68 consid. 9.4 et les références au droit cantonal genevois). Le droit cantonal est donc autonome sur ce point, ce qui limite la cognition du Tribunal fédéral aux griefs constitutionnels dûment invoqués (cf. supra consid. 2). Or en l'occurrence, le recourant n'en formule aucun. Il se limite à mentionner l'art. 44 LPFisc, qui prévoit que lorsqu'il est compétent pour statuer en matière fiscale, le Tribunal administratif de première instance siège dans la composition d'un juge, qui le préside, et de deux juges assesseurs spécialisés dans les affaires fiscales. Il n'en tire toutefois aucun grief d'application arbitraire du droit cantonal.

4.3. Les griefs de déni de justice formel et de violation de l'art. 50
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 50 - 1 Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
1    Der Steuerpflichtige kann gegen den Einspracheentscheid innert 30 Tagen nach Zustellung bei einer von der Steuerbehörde unabhängigen Justizbehörde schriftlich Rekurs erheben.
2    Der Rekurs ist zu begründen. Es können alle Mängel des angefochtenen Entscheides und des vorangegangenen Verfahrens gerügt werden.
3    Der Steuerpflichtige und die kantonale Steuerverwaltung können den Rekursentscheid an eine weitere verwaltungsunabhängige kantonale Instanz ziehen, wenn das kantonale Recht dies vorsieht.
LHID sont partant rejetés.

III. Impôt fédéral direct
III.1 Prescription

5.
S'agissant des reprises fiscales, la Cour de justice a estimé que la période fiscale 2001 était atteinte par le délai de prescription de quinze ans du droit de taxer (art. 120 al. 4
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 120 Veranlagungsverjährung - 1 Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
1    Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
2    Die Verjährung beginnt nicht oder steht still:
a  während eines Einsprache-, Beschwerde- oder Revisionsverfahrens;
b  solange die Steuerforderung sichergestellt oder gestundet ist;
c  solange weder der Steuerpflichtige noch der Mithaftende in der Schweiz steuerrechtlichen Wohnsitz oder Aufenthalt haben.
3    Die Verjährung beginnt neu mit:
a  jeder auf Feststellung oder Geltendmachung der Steuerforderung gerichteten Amtshandlung, die einem Steuerpflichtigen oder Mithaftenden zur Kenntnis gebracht wird;
b  jeder ausdrücklichen Anerkennung der Steuerforderung durch den Steuerpflichtigen oder den Mithaftenden;
c  der Einreichung eines Erlassgesuches;
d  der Einleitung einer Strafverfolgung wegen vollendeter Steuerhinterziehung oder wegen Steuervergehens.
4    Das Recht, eine Steuer zu veranlagen, ist 15 Jahre nach Ablauf der Steuerperiode auf jeden Fall verjährt.
LIFD). Quant aux périodes fiscales 2002 et 2003, il fallait considérer qu'elles étaient entrées en force le 3 août 2015.

5.1. Le recourant soutient que le raisonnement conduit par l'instance précédente concernant la prescription du droit de taxer est erroné et arbitraire. Il invoque une violation de l'art. 120 al. 4
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 120 Veranlagungsverjährung - 1 Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
1    Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
2    Die Verjährung beginnt nicht oder steht still:
a  während eines Einsprache-, Beschwerde- oder Revisionsverfahrens;
b  solange die Steuerforderung sichergestellt oder gestundet ist;
c  solange weder der Steuerpflichtige noch der Mithaftende in der Schweiz steuerrechtlichen Wohnsitz oder Aufenthalt haben.
3    Die Verjährung beginnt neu mit:
a  jeder auf Feststellung oder Geltendmachung der Steuerforderung gerichteten Amtshandlung, die einem Steuerpflichtigen oder Mithaftenden zur Kenntnis gebracht wird;
b  jeder ausdrücklichen Anerkennung der Steuerforderung durch den Steuerpflichtigen oder den Mithaftenden;
c  der Einreichung eines Erlassgesuches;
d  der Einleitung einer Strafverfolgung wegen vollendeter Steuerhinterziehung oder wegen Steuervergehens.
4    Das Recht, eine Steuer zu veranlagen, ist 15 Jahre nach Ablauf der Steuerperiode auf jeden Fall verjährt.
LIFD, ainsi qu'un établissement arbitraire des faits (art. 9
SR 101 Bundesverfassung der Schweizerischen Eidgenossenschaft vom 18. April 1999
BV Art. 9 Schutz vor Willkür und Wahrung von Treu und Glauben - Jede Person hat Anspruch darauf, von den staatlichen Organen ohne Willkür und nach Treu und Glauben behandelt zu werden.
Cst.), une violation de son droit d'être entendu (art. 29 al. 2
SR 101 Bundesverfassung der Schweizerischen Eidgenossenschaft vom 18. April 1999
BV Art. 29 Allgemeine Verfahrensgarantien - 1 Jede Person hat in Verfahren vor Gerichts- und Verwaltungsinstanzen Anspruch auf gleiche und gerechte Behandlung sowie auf Beurteilung innert angemessener Frist.
1    Jede Person hat in Verfahren vor Gerichts- und Verwaltungsinstanzen Anspruch auf gleiche und gerechte Behandlung sowie auf Beurteilung innert angemessener Frist.
2    Die Parteien haben Anspruch auf rechtliches Gehör.
3    Jede Person, die nicht über die erforderlichen Mittel verfügt, hat Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand.
Cst.) et de son droit d'accès au juge (art. 29a
SR 101 Bundesverfassung der Schweizerischen Eidgenossenschaft vom 18. April 1999
BV Art. 29a Rechtsweggarantie - Jede Person hat bei Rechtsstreitigkeiten Anspruch auf Beurteilung durch eine richterliche Behörde. Bund und Kantone können durch Gesetz die richterliche Beurteilung in Ausnahmefällen ausschliessen.
Cst.).

5.2. Toutes les périodes fiscales litigieuses (soit 2001 à 2007) ont fait l'objet d'une procédure en rappel d'impôt, qui a été ouverte le 21 octobre 2011. L'Administration cantonale a notifié au recourant les éléments imposables par décisions (sur rappel d'impôt) du 6 janvier 2014. Dans ce contexte, les éléments imposables des périodes fiscales 2002 et 2003 ont été établis d'office. Le recourant a contesté les décisions y afférentes par réclamation du 6 février 2014. La décision sur réclamation est intervenue le 3 août 2015 et la Cour de justice a statué le 2 août 2017.

5.3. Les juges précédents ont recouru à l'art. 120 al. 4
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 120 Veranlagungsverjährung - 1 Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
1    Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
2    Die Verjährung beginnt nicht oder steht still:
a  während eines Einsprache-, Beschwerde- oder Revisionsverfahrens;
b  solange die Steuerforderung sichergestellt oder gestundet ist;
c  solange weder der Steuerpflichtige noch der Mithaftende in der Schweiz steuerrechtlichen Wohnsitz oder Aufenthalt haben.
3    Die Verjährung beginnt neu mit:
a  jeder auf Feststellung oder Geltendmachung der Steuerforderung gerichteten Amtshandlung, die einem Steuerpflichtigen oder Mithaftenden zur Kenntnis gebracht wird;
b  jeder ausdrücklichen Anerkennung der Steuerforderung durch den Steuerpflichtigen oder den Mithaftenden;
c  der Einreichung eines Erlassgesuches;
d  der Einleitung einer Strafverfolgung wegen vollendeter Steuerhinterziehung oder wegen Steuervergehens.
4    Das Recht, eine Steuer zu veranlagen, ist 15 Jahre nach Ablauf der Steuerperiode auf jeden Fall verjährt.
LIFD pour examiner la prescription en l'espèce. Ils ont admis que la prescription de quinze ans du droit de procéder à la taxation arrivait à échéance en principe le 31 décembre 2016 pour la période fiscale 2001. Toutefois, cette règle s'appliquait différemment en cas de taxation d'office, en raison de l'obligation de démontrer dans la réclamation, sous peine d'irrecevabilité, le caractère manifestement inexact de la taxation. L'irrecevabilité d'une réclamation entraînait l'entrée en force de la décision la constatant, avec effet ex tunc si cette irrecevabilité devait être confirmée à l'issue d'une procédure de recours. En l'occurrence, le recourant n'avait pas établi le caractère manifestement inexact des taxations d'office 2002 et 2003 dans sa réclamation. Dès lors, l'Administration cantonale "devait en constater l'irrecevabilité et refuser d'entrer en matière sur celle-ci" dans sa décision sur réclamation (arrêt attaqué, consid. 20 1er paragraphe). Les juges précédents poursuivent en relevant qu'en l'espèce, "le rejet du recours a entraîné la confirmation de la décision sur réclamation du 3 août 2015 concernant les années ayant fait l'objet d'une taxation d'office, soit
2002 et 2003; de ce fait, l'ensemble des décisions de taxation en rappel d'impôt pour les exercices y relatifs ont entrées en force avec effet au 3 août 2015, la procédure de recours qui s'en est suivie confirmant le bien-fondé du refus de l'autorité fiscale d'entrer en matière sur la réclamation du contribuable" (consid. 20, 2e paragraphe).

5.4. Le raisonnement de la Cour de justice est confus sur le plan des faits et erroné sur le plan du droit.

5.4.1. S'agissant des faits, on ne parvient pas savoir si les juges cantonaux considèrent que l'Administration cantonale a rendu une décision d'irrecevabilité sur réclamation concernant les périodes fiscales 2002 et 2003 (ce qui ressort du premier paragraphe du consid. 20) ou s'ils retiennent au contraire que cette administration est entrée en matière sur la réclamation pour ensuite la rejeter au fond (ce qui ressort du deuxième paragraphe du même considérant). Ce point souffre de rester indécis en l'espèce, puisque l'argumentation de la Cour de justice est de toute manière contraire au droit fédéral.

5.4.2. En appliquant l'art. 120 al. 4
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 120 Veranlagungsverjährung - 1 Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
1    Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
2    Die Verjährung beginnt nicht oder steht still:
a  während eines Einsprache-, Beschwerde- oder Revisionsverfahrens;
b  solange die Steuerforderung sichergestellt oder gestundet ist;
c  solange weder der Steuerpflichtige noch der Mithaftende in der Schweiz steuerrechtlichen Wohnsitz oder Aufenthalt haben.
3    Die Verjährung beginnt neu mit:
a  jeder auf Feststellung oder Geltendmachung der Steuerforderung gerichteten Amtshandlung, die einem Steuerpflichtigen oder Mithaftenden zur Kenntnis gebracht wird;
b  jeder ausdrücklichen Anerkennung der Steuerforderung durch den Steuerpflichtigen oder den Mithaftenden;
c  der Einreichung eines Erlassgesuches;
d  der Einleitung einer Strafverfolgung wegen vollendeter Steuerhinterziehung oder wegen Steuervergehens.
4    Das Recht, eine Steuer zu veranlagen, ist 15 Jahre nach Ablauf der Steuerperiode auf jeden Fall verjährt.
LIFD pour calculer la prescription, les juges précédents ont perdu de vue que l'art. 120
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 120 Veranlagungsverjährung - 1 Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
1    Das Recht, eine Steuer zu veranlagen, verjährt fünf Jahre nach Ablauf der Steuerperiode. Vorbehalten bleiben die Artikel 152 und 184.
2    Die Verjährung beginnt nicht oder steht still:
a  während eines Einsprache-, Beschwerde- oder Revisionsverfahrens;
b  solange die Steuerforderung sichergestellt oder gestundet ist;
c  solange weder der Steuerpflichtige noch der Mithaftende in der Schweiz steuerrechtlichen Wohnsitz oder Aufenthalt haben.
3    Die Verjährung beginnt neu mit:
a  jeder auf Feststellung oder Geltendmachung der Steuerforderung gerichteten Amtshandlung, die einem Steuerpflichtigen oder Mithaftenden zur Kenntnis gebracht wird;
b  jeder ausdrücklichen Anerkennung der Steuerforderung durch den Steuerpflichtigen oder den Mithaftenden;
c  der Einreichung eines Erlassgesuches;
d  der Einleitung einer Strafverfolgung wegen vollendeter Steuerhinterziehung oder wegen Steuervergehens.
4    Das Recht, eine Steuer zu veranlagen, ist 15 Jahre nach Ablauf der Steuerperiode auf jeden Fall verjährt.
LIFD concerne la prescription du droit de taxer. Or, cette disposition ne peut pas entrer en ligne de compte en l'espèce, puisque l'ensemble des périodes fiscales litigieuses avait déjà fait l'objet de taxations, l'Administration cantonale ayant ouvert une procédure en rappel d'impôt pour chacune d'elles. Ce sont donc les règles sur la prescription du rappel d'impôt, qui figurent à l'art. 152
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 152 Verwirkung - 1 Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist.
1    Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist.
2    Die Eröffnung der Strafverfolgung wegen Steuerhinterziehung oder Steuervergehens gilt zugleich als Einleitung des Nachsteuerverfahrens.
3    Das Recht, die Nachsteuer festzusetzen, erlischt 15 Jahre nach Ablauf der Steuerperiode, auf die sie sich bezieht.
LIFD, qui s'appliquent.
Selon l'art. 152 al. 3
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 152 Verwirkung - 1 Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist.
1    Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist.
2    Die Eröffnung der Strafverfolgung wegen Steuerhinterziehung oder Steuervergehens gilt zugleich als Einleitung des Nachsteuerverfahrens.
3    Das Recht, die Nachsteuer festzusetzen, erlischt 15 Jahre nach Ablauf der Steuerperiode, auf die sie sich bezieht.
LIFD, le droit de procéder au rappel d'impôt s'éteint quinze ans après la fin de la période fiscale à laquelle il se rapporte. Ce délai de quinze ans est un délai de péremption (cf. arrêts 2C 760/2017 du 15 juin 2018 consid. 4.1; 2C 146/2013 du 4 septembre 2013 consid. 3.2).
En vertu de cette disposition, le droit de procéder au rappel d'impôt de la période fiscale 2002 s'est éteint le 31 décembre 2017. Le fait que l'Administration cantonale ait procédé par taxation d'office au cours de la procédure en rappel d'impôt, ce qui est possible (art. 153 al. 3
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 153 Verfahren - 1 Die Einleitung eines Nachsteuerverfahrens wird dem Steuerpflichtigen schriftlich mitgeteilt.
1    Die Einleitung eines Nachsteuerverfahrens wird dem Steuerpflichtigen schriftlich mitgeteilt.
1bis    Wenn bei Einleitung des Verfahrens ein Strafverfahren wegen Steuerhinterziehung weder eingeleitet wird, noch hängig ist, noch von vornherein ausgeschlossen werden kann, wird die steuerpflichtige Person auf die Möglichkeit der späteren Einleitung eines solchen Strafverfahrens aufmerksam gemacht.246
2    Das Verfahren, das beim Tod des Steuerpflichtigen noch nicht eingeleitet oder noch nicht abgeschlossen ist, wird gegenüber den Erben eingeleitet oder fortgesetzt.
3    Im Übrigen sind die Vorschriften über die Verfahrensgrundsätze, das Veranlagungs- und das Beschwerdeverfahren sinngemäss anwendbar.
en lien avec l'art. 130 al. 2 et 132 al. 3
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 132 Voraussetzungen - 1 Gegen die Veranlagungsverfügung kann der Steuerpflichtige innert 30 Tagen nach Zustellung bei der Veranlagungsbehörde schriftlich Einsprache erheben.
1    Gegen die Veranlagungsverfügung kann der Steuerpflichtige innert 30 Tagen nach Zustellung bei der Veranlagungsbehörde schriftlich Einsprache erheben.
2    Richtet sich die Einsprache gegen eine einlässlich begründete Veranlagungsverfügung, so kann sie mit Zustimmung des Einsprechers und der übrigen Antragsteller (Art. 103 Abs. 1 Bst. b und 104 Abs. 1) als Beschwerde an die kantonale Steuerrekurskommission weitergeleitet werden.
3    Eine Veranlagung nach pflichtgemässem Ermessen kann der Steuerpflichtige nur wegen offensichtlicher Unrichtigkeit anfechten. Die Einsprache ist zu begründen und muss allfällige Beweismittel nennen.
LIFD; cf. arrêt 2C 304/2013 du 22 octobre 2013 consid. 3.4 et les références) n'a pas d'incidence sur le calcul de la prescription (cf. sur ce point l'arrêt 2C 722/2017 du 13 décembre 2017 consid. 3.1.2, dûment cité par le recourant dans sa réplique). Le raisonnement de la Cour de justice est partant contraire à l'art. 152 al. 3
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 152 Verwirkung - 1 Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist.
1    Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist.
2    Die Eröffnung der Strafverfolgung wegen Steuerhinterziehung oder Steuervergehens gilt zugleich als Einleitung des Nachsteuerverfahrens.
3    Das Recht, die Nachsteuer festzusetzen, erlischt 15 Jahre nach Ablauf der Steuerperiode, auf die sie sich bezieht.
LIFD.
Au surplus, le point de savoir si c'est à bon droit que la Cour de justice a jugé que (hors procédure de rappel d'impôt), un arrêt cantonal constatant ou confirmant l'irrecevabilité d'une réclamation formée contre une décision de taxation d'office a pour conséquence de faire entrer en force avec effet ex tunc ladite taxation n'est pas d'emblée évident. Au vu de ce qui précède, il n'est toutefois pas nécessaire de trancher cette question en l'espèce.

5.4.3. Il faut donc constater que le droit de procéder au rappel d'impôt de la période fiscale 2002 s'est éteint le 31 décembre 2017. En revanche, le droit de procéder au rappel d'impôt de la période fiscale 2003 n'est pas éteint, le délai de quinze ans échéant au 31 décembre 2018.
Dans ces circonstances, il n'y a pas lieu d'examiner au surplus si le recourant a motivé de manière conforme à l'art. 106 al. 2
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 106 Bei wirtschaftlicher Zugehörigkeit - 1 Für die Erhebung der direkten Bundessteuer aufgrund wirtschaftlicher Zugehörigkeit ist der Kanton zuständig, in dem am Ende der Steuerperiode oder der Steuerpflicht:
1    Für die Erhebung der direkten Bundessteuer aufgrund wirtschaftlicher Zugehörigkeit ist der Kanton zuständig, in dem am Ende der Steuerperiode oder der Steuerpflicht:
a  für natürliche Personen die in Artikel 4 genannten Voraussetzungen erfüllt sind;
b  für juristische Personen die in Artikel 51 genannten Voraussetzungen erfüllt sind.
2    Treffen die Voraussetzungen von Artikel 4 oder 51 gleichzeitig in mehreren Kantonen zu, so ist derjenige Kanton zuständig, in dem sich der grösste Teil der steuerbaren Werte befindet.
3    Vorbehalten bleibt Artikel 107.
LIFD les griefs d'ordre constitutionnels qu'il fait aussi valoir en lien avec la question de la prescription (cf. supra consid. 5).

6.
Il convient également d'examiner la prescription de la poursuite pénale pour soustraction d'impôt consommée.

6.1. S'agissant des amendes pour soustraction d'impôt consommée, l'art. 184 al. 1 let. b ch. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 184 - 1 Die Strafverfolgung verjährt:
1    Die Strafverfolgung verjährt:
a  bei Verletzung von Verfahrenspflichten drei Jahre und bei versuchter Steuerhinterziehung sechs Jahre nach dem rechtskräftigen Abschluss des Verfahrens, in dem die Verfahrenspflichten verletzt oder die Steuern zu hinterziehen versucht wurden;
b  bei vollendeter Steuerhinterziehung zehn Jahre nach Ablauf:
b1  der Steuerperiode, für welche die steuerpflichtige Person nicht oder unvollständig veranlagt wurde oder der Steuerabzug an der Quelle nicht gesetzmässig erfolgte (Art. 175 Abs. 1),
b2  des Kalenderjahres, in dem eine unrechtmässige Rückerstattung oder ein ungerechtfertigter Erlass erwirkt wurde (Art. 175 Abs. 1) oder Nachlasswerte im Inventarverfahren verheimlicht oder beiseitegeschafft wurden (Art. 178 Abs. 1-3).
2    Die Verjährung tritt nicht mehr ein, wenn die zuständige kantonale Behörde (Art. 182 Abs. 1) vor Ablauf der Verjährungsfrist eine Verfügung erlassen hat.
LIFD, en vigueur depuis le 1er janvier 2017, prévoit que la poursuite pénale se prescrit par dix ans à compter de la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée ou l'a été de façon incomplète. Selon le nouvel art. 184 al. 2
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 184 - 1 Die Strafverfolgung verjährt:
1    Die Strafverfolgung verjährt:
a  bei Verletzung von Verfahrenspflichten drei Jahre und bei versuchter Steuerhinterziehung sechs Jahre nach dem rechtskräftigen Abschluss des Verfahrens, in dem die Verfahrenspflichten verletzt oder die Steuern zu hinterziehen versucht wurden;
b  bei vollendeter Steuerhinterziehung zehn Jahre nach Ablauf:
b1  der Steuerperiode, für welche die steuerpflichtige Person nicht oder unvollständig veranlagt wurde oder der Steuerabzug an der Quelle nicht gesetzmässig erfolgte (Art. 175 Abs. 1),
b2  des Kalenderjahres, in dem eine unrechtmässige Rückerstattung oder ein ungerechtfertigter Erlass erwirkt wurde (Art. 175 Abs. 1) oder Nachlasswerte im Inventarverfahren verheimlicht oder beiseitegeschafft wurden (Art. 178 Abs. 1-3).
2    Die Verjährung tritt nicht mehr ein, wenn die zuständige kantonale Behörde (Art. 182 Abs. 1) vor Ablauf der Verjährungsfrist eine Verfügung erlassen hat.
LIFD, la prescription ne court plus si une décision a été rendue par l'autorité cantonale compétente (art. 182 al. 1) avant l'échéance du délai de prescription. Cela implique que la prescription est atteinte si aucune décision n'a été rendue par l'autorité cantonale compétente dans les dix ans après la fin de la période fiscale concernée (cf. arrêts 2C 12/2017 du 23 mars 2018 consid. 4.2, non publié in ATF 144 IV 136; 2C 1010/2016 du 19 juillet 2017 consid. 2.4.1).

Avant le 1er janvier 2017, la poursuite pénale de la soustraction consommée se prescrivait par quinze ans, par le jeu de l'art. 184 let. b ch. 1
SR 311.0 Schweizerisches Strafgesetzbuch vom 21. Dezember 1937
StGB Art. 184 - Freiheitsberaubung und Entführung werden mit Freiheitsstrafe nicht unter einem Jahr bestraft,
et al. 2 aLIFD, en lien avec l'art. 333 al. 6 let. b
SR 311.0 Schweizerisches Strafgesetzbuch vom 21. Dezember 1937
StGB Art. 333 - 1 Die allgemeinen Bestimmungen dieses Gesetzes finden auf Taten, die in andern Bundesgesetzen mit Strafe bedroht sind, insoweit Anwendung, als diese Bundesgesetze nicht selbst Bestimmungen aufstellen.
1    Die allgemeinen Bestimmungen dieses Gesetzes finden auf Taten, die in andern Bundesgesetzen mit Strafe bedroht sind, insoweit Anwendung, als diese Bundesgesetze nicht selbst Bestimmungen aufstellen.
2    In den anderen Bundesgesetzen werden ersetzt:
a  Zuchthaus durch Freiheitsstrafe von mehr als einem Jahr;
b  Gefängnis durch Freiheitsstrafe bis zu drei Jahren oder Geldstrafe;
c  Gefängnis unter sechs Monaten durch Geldstrafe, wobei einem Monat Freiheitsstrafe 30 Tagessätze Geldstrafe zu höchstens 3000 Franken entsprechen.
3    Wird Haft oder Busse oder Busse allein als Höchststrafe angedroht, so liegt eine Übertretung vor. Die Artikel 106 und 107 sind anwendbar. Vorbehalten bleibt Artikel 8 des Bundesgesetzes vom 22. März 1974509 über das Verwaltungsstrafrecht. Eine Übertretung ist die Tat auch dann, wenn sie in einem anderen Bundesgesetz, welches vor 1942 in Kraft getreten ist, mit einer Gefängnisstrafe bedroht ist, die drei Monate nicht übersteigt.
4    Vorbehalten sind die von Absatz 2 abweichenden Strafdauern und Artikel 41 sowie die von Artikel 106 abweichenden Bussenbeträge.
5    Droht ein anderes Bundesgesetz für ein Verbrechen oder Vergehen Busse an, so ist Artikel 34 anwendbar. Von Artikel 34 abweichende Bemessungsregeln sind nicht anwendbar. Vorbehalten bleibt Artikel 8 des Bundesgesetzes vom 22. März 1974 über das Verwaltungsstrafrecht. Ist die Busse auf eine Summe unter 1 080 000 Franken begrenzt, so fällt diese Begrenzung dahin. Ist die angedrohte Busse auf eine Summe über 1 080 000 Franken begrenzt, so wird diese Begrenzung beibehalten. In diesem Fall ergibt der bisher angedrohte Bussenhöchstbetrag geteilt durch 3000 die Höchstzahl der Tagessätze.
6    ...510
6bis    Wird eine Tat mit Freiheitsstrafe oder Geldstrafe mit einer Mindestanzahl Tagessätzen bedroht, so gilt diese Untergrenze auch für die Mindestanzahl Tage Freiheitsstrafe.511
7    Die in andern Bundesgesetzen unter Strafe gestellten Übertretungen sind strafbar, auch wenn sie fahrlässig begangen werden, sofern nicht nach dem Sinne der Vorschrift nur die vorsätzliche Begehung mit Strafe bedroht ist.
CP (arrêt 2C 173/2015 du 21 novembre 2014 consid. 5.1.1, in RF 71/2016 p. 882).
Selon l'art. 205f
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 205f Übergangsbestimmung zur Änderung vom 26. September 2014 - Für die Beurteilung von Straftaten, die in Steuerperioden vor Inkrafttreten der Änderung vom 26. September 2014 begangen wurden, ist das neue Recht anwendbar, sofern dieses milder ist als das in jenen Steuerperioden geltende Recht.
LIFD, entré en vigueur le 1er janvier 2017, le nouveau droit est applicable au jugement des infractions commises au cours de périodes fiscales précédant l'entrée en vigueur de la modification du 26 septembre 2014 s'il est plus favorable que le droit en vigueur au cours de ces périodes fiscales (principe de la lex mitior; cf. arrêts 2C 844/2017 du 17 août 2018 consid. 2.3.1; 2C 12/2017 précité consid. 4.1 non publié).

6.2. En l'occurrence, la Cour de justice, qui a statué après l'entrée en vigueur du nouveau droit, aurait dû constater d'office la prescription de la poursuite de la soustraction d'impôt des périodes fiscales 2002 et 2003 en appliquant le nouveau droit en tant que lex mitior. La prescription n'a en effet pas été interrompue par la décision de l'Administration cantonale, qui n'est intervenue que le 6 janvier 2014, soit plus de dix ans après la fin des périodes fiscales 2002 et 2003

7.
La période fiscale 2002 est ainsi prescrite, tant s'agissant du droit de procéder au rappel d'impôt que du droit de sanctionner la soustraction d'impôt. La période fiscale 2003 est prescrite s'agissant du droit de sanctionner la soustraction d'impôt.
Restent donc litigieuses les périodes fiscales 2004 à 2007 ainsi que la période fiscale 2003, mais uniquement, pour cette période, s'agissant de la reprise d'impôt.
III.2 Griefs relatifs à l'existence d'avantages appréciables en argent

8.
Le recourant soutient que la Cour de justice a violé les art. 57
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 57 - Gegenstand der Gewinnsteuer ist der Reingewinn.
et 58 al. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 58 Allgemeines - 1 Der steuerbare Reingewinn setzt sich zusammen aus:
1    Der steuerbare Reingewinn setzt sich zusammen aus:
a  dem Saldo der Erfolgsrechnung unter Berücksichtigung des Saldovortrages des Vorjahres;
b  allen vor Berechnung des Saldos der Erfolgsrechnung ausgeschiedenen Teilen des Geschäftsergebnisses, die nicht zur Deckung von geschäftsmässig begründetem Aufwand verwendet werden, wie insbesondere:
c  den der Erfolgsrechnung nicht gutgeschriebenen Erträgen, mit Einschluss der Kapital-, Aufwertungs- und Liquidationsgewinne, vorbehältlich Artikel 64. ...133
2    Der steuerbare Reingewinn juristischer Personen, die keine Erfolgsrechnung erstellen, bestimmt sich sinngemäss nach Absatz 1.
3    Leistungen, welche gemischtwirtschaftliche, im öffentlichen Interesse tätige Unternehmen überwiegend an nahe stehende Personen erbringen, sind zum jeweiligen Marktpreis, zu den jeweiligen Gestehungskosten zuzüglich eines angemessenen Aufschlages oder zum jeweiligen Endverkaufspreis abzüglich einer angemessenen Gewinnmarge zu bewerten; das Ergebnis eines jeden Unternehmens ist entsprechend zu berichtigen.
let. b cinquième tiret LIFD en retenant que la mise à sa disposition de la villa sise à C.________ était constitutive d'une distribution dissimulée de bénéfice et qu'elle a partant à tort procédé aux reprises dans son revenu imposable.

8.1. Le litige ayant trait à l'imposition sur le revenu du recourant, ce sont les dispositions relatives à cet impôt qui sont applicables en premier lieu.
L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (art. 16 al. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 16 - 1 Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte.
1    Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte.
2    Als Einkommen gelten auch Naturalbezüge jeder Art, insbesondere freie Verpflegung und Unterkunft sowie der Wert selbstverbrauchter Erzeugnisse und Waren des eigenen Betriebes; sie werden nach ihrem Marktwert bemessen.
3    Die Kapitalgewinne aus der Veräusserung von Privatvermögen sind steuerfrei.
LIFD). Selon l'art. 20 al. 1 let. c
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 20 - 1 Steuerbar sind die Erträge aus beweglichem Vermögen, insbesondere:
1    Steuerbar sind die Erträge aus beweglichem Vermögen, insbesondere:
a  Zinsen aus Guthaben, einschliesslich ausbezahlter Erträge aus rückkaufsfähigen Kapitalversicherungen mit Einmalprämie im Erlebensfall oder bei Rückkauf, ausser wenn diese Kapitalversicherungen der Vorsorge dienen. Als der Vorsorge dienend gilt die Auszahlung der Versicherungsleistung ab dem vollendeten 60. Altersjahr des Versicherten auf Grund eines mindestens fünfjährigen Vertragsverhältnisses, das vor Vollendung des 66. Altersjahres begründet wurde. In diesem Fall ist die Leistung steuerfrei;
b  Einkünfte aus der Veräusserung oder Rückzahlung von Obligationen mit überwiegender Einmalverzinsung (globalverzinsliche Obligationen, Diskont-Obligationen), die dem Inhaber anfallen;
c  Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Beteiligungen aller Art (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.). Ein bei der Rückgabe von Beteiligungsrechten im Sinne von Artikel 4a des Bundesgesetzes vom 13. Oktober 196541 über die Verrechnungssteuer (VStG) an die Kapitalgesellschaft oder Genossenschaft erzielter Liquidationsüberschuss gilt in dem Jahre als realisiert, in welchem die Verrechnungssteuerforderung entsteht (Art. 12 Abs. 1 und 1bis VStG); Absatz 1bis bleibt vorbehalten;
d  Einkünfte aus Vermietung, Verpachtung, Nutzniessung oder sonstiger Nutzung beweglicher Sachen oder nutzbarer Rechte;
e  Einkünfte aus Anteilen an kollektiven Kapitalanlagen, soweit die Gesamterträge die Erträge aus direktem Grundbesitz übersteigen;
f  Einkünfte aus immateriellen Gütern.
1bis    Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Aktien, Anteilen an Gesellschaften mit beschränkter Haftung, Genossenschaftsanteilen und Partizipationsscheinen (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.) sind im Umfang von 70 Prozent steuerbar, wenn diese Beteiligungsrechte mindestens 10 Prozent des Grund- oder Stammkapitals einer Kapitalgesellschaft oder Genossenschaft darstellen.43
2    Der Erlös aus Bezugsrechten gilt nicht als Vermögensertrag, sofern sie zum Privatvermögen des Steuerpflichtigen gehören.
3    Die Rückzahlung von Einlagen, Aufgeldern und Zuschüssen (Reserven aus Kapitaleinlagen), die von den Inhabern der Beteiligungsrechte nach dem 31. Dezember 1996 geleistet worden sind, wird gleich behandelt wie die Rückzahlung von Grund- oder Stammkapital. Absatz 4 bleibt vorbehalten.44
4    Schüttet eine Kapitalgesellschaft oder Genossenschaft, die an einer schweizerischen Börse kotiert ist, bei der Rückzahlung von Reserven aus Kapitaleinlagen nach Absatz 3 nicht mindestens im gleichen Umfang übrige Reserven aus, so ist die Rückzahlung im Umfang der halben Differenz zwischen der Rückzahlung und der Ausschüttung der übrigen Reserven steuerbar, höchstens aber im Umfang der in der Gesellschaft vorhandenen, handelsrechtlich ausschüttungsfähigen übrigen Reserven.45
5    Absatz 4 ist nicht anwendbar auf Reserven aus Kapitaleinlagen:
a  die bei fusionsähnlichen Zusammenschlüssen durch Einbringen von Beteiligungs- und Mitgliedschaftsrechten an einer ausländischen Kapitalgesellschaft oder Genossenschaft nach Artikel 61 Absatz 1 Buchstabe c oder durch eine grenzüberschreitende Übertragung auf eine inländische Tochtergesellschaft nach Artikel 61 Absatz 1 Buchstabe d nach dem 24. Februar 2008 entstanden sind;
b  die im Zeitpunkt einer grenzüberschreitenden Fusion oder Umstrukturierung nach Artikel 61 Absatz 1 Buchstabe b und Absatz 3 oder der Verlegung des Sitzes oder der tatsächlichen Verwaltung nach dem 24. Februar 2008 bereits in einer ausländischen Kapitalgesellschaft oder Genossenschaft vorhanden waren;
c  im Falle der Liquidation der Kapitalgesellschaft oder Genossenschaft.46
6    Die Absätze 4 und 5 gelten sinngemäss auch für Reserven aus Kapitaleinlagen, die für die Ausgabe von Gratisaktien oder für Gratisnennwerterhöhungen verwendet werden.47
7    Entspricht bei der Rückgabe von Beteiligungsrechten an einer Kapitalgesellschaft oder Genossenschaft, die an einer schweizerischen Börse kotiert ist, die Rückzahlung der Reserven aus Kapitaleinlagen nicht mindestens der Hälfte des erhaltenen Liquidationsüberschusses, so vermindert sich der steuerbare Anteil dieses Liquidationsüberschusses um die halbe Differenz zwischen diesem Anteil und der Rückzahlung, höchstens aber im Umfang der in der Gesellschaft vorhandenen Reserven aus Kapitaleinlagen, die auf diese Beteiligungsrechte entfallen.48
8    Absatz 3 gilt für Einlagen und Aufgelder, die während eines Kapitalbands nach den Artikeln 653s ff. des Obligationenrechts (OR)49 geleistet werden, nur soweit sie die Rückzahlungen von Reserven im Rahmen dieses Kapitalbands übersteigen.50
LIFD, est imposable au titre de rendement de la fortune mobilière les dividendes, les parts de bénéfice, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations en tout genre.

8.1.1. Font partie des avantages appréciables en argent au sens de l'art. 20 al. 1 let. c
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 20 - 1 Steuerbar sind die Erträge aus beweglichem Vermögen, insbesondere:
1    Steuerbar sind die Erträge aus beweglichem Vermögen, insbesondere:
a  Zinsen aus Guthaben, einschliesslich ausbezahlter Erträge aus rückkaufsfähigen Kapitalversicherungen mit Einmalprämie im Erlebensfall oder bei Rückkauf, ausser wenn diese Kapitalversicherungen der Vorsorge dienen. Als der Vorsorge dienend gilt die Auszahlung der Versicherungsleistung ab dem vollendeten 60. Altersjahr des Versicherten auf Grund eines mindestens fünfjährigen Vertragsverhältnisses, das vor Vollendung des 66. Altersjahres begründet wurde. In diesem Fall ist die Leistung steuerfrei;
b  Einkünfte aus der Veräusserung oder Rückzahlung von Obligationen mit überwiegender Einmalverzinsung (globalverzinsliche Obligationen, Diskont-Obligationen), die dem Inhaber anfallen;
c  Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Beteiligungen aller Art (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.). Ein bei der Rückgabe von Beteiligungsrechten im Sinne von Artikel 4a des Bundesgesetzes vom 13. Oktober 196541 über die Verrechnungssteuer (VStG) an die Kapitalgesellschaft oder Genossenschaft erzielter Liquidationsüberschuss gilt in dem Jahre als realisiert, in welchem die Verrechnungssteuerforderung entsteht (Art. 12 Abs. 1 und 1bis VStG); Absatz 1bis bleibt vorbehalten;
d  Einkünfte aus Vermietung, Verpachtung, Nutzniessung oder sonstiger Nutzung beweglicher Sachen oder nutzbarer Rechte;
e  Einkünfte aus Anteilen an kollektiven Kapitalanlagen, soweit die Gesamterträge die Erträge aus direktem Grundbesitz übersteigen;
f  Einkünfte aus immateriellen Gütern.
1bis    Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Aktien, Anteilen an Gesellschaften mit beschränkter Haftung, Genossenschaftsanteilen und Partizipationsscheinen (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.) sind im Umfang von 70 Prozent steuerbar, wenn diese Beteiligungsrechte mindestens 10 Prozent des Grund- oder Stammkapitals einer Kapitalgesellschaft oder Genossenschaft darstellen.43
2    Der Erlös aus Bezugsrechten gilt nicht als Vermögensertrag, sofern sie zum Privatvermögen des Steuerpflichtigen gehören.
3    Die Rückzahlung von Einlagen, Aufgeldern und Zuschüssen (Reserven aus Kapitaleinlagen), die von den Inhabern der Beteiligungsrechte nach dem 31. Dezember 1996 geleistet worden sind, wird gleich behandelt wie die Rückzahlung von Grund- oder Stammkapital. Absatz 4 bleibt vorbehalten.44
4    Schüttet eine Kapitalgesellschaft oder Genossenschaft, die an einer schweizerischen Börse kotiert ist, bei der Rückzahlung von Reserven aus Kapitaleinlagen nach Absatz 3 nicht mindestens im gleichen Umfang übrige Reserven aus, so ist die Rückzahlung im Umfang der halben Differenz zwischen der Rückzahlung und der Ausschüttung der übrigen Reserven steuerbar, höchstens aber im Umfang der in der Gesellschaft vorhandenen, handelsrechtlich ausschüttungsfähigen übrigen Reserven.45
5    Absatz 4 ist nicht anwendbar auf Reserven aus Kapitaleinlagen:
a  die bei fusionsähnlichen Zusammenschlüssen durch Einbringen von Beteiligungs- und Mitgliedschaftsrechten an einer ausländischen Kapitalgesellschaft oder Genossenschaft nach Artikel 61 Absatz 1 Buchstabe c oder durch eine grenzüberschreitende Übertragung auf eine inländische Tochtergesellschaft nach Artikel 61 Absatz 1 Buchstabe d nach dem 24. Februar 2008 entstanden sind;
b  die im Zeitpunkt einer grenzüberschreitenden Fusion oder Umstrukturierung nach Artikel 61 Absatz 1 Buchstabe b und Absatz 3 oder der Verlegung des Sitzes oder der tatsächlichen Verwaltung nach dem 24. Februar 2008 bereits in einer ausländischen Kapitalgesellschaft oder Genossenschaft vorhanden waren;
c  im Falle der Liquidation der Kapitalgesellschaft oder Genossenschaft.46
6    Die Absätze 4 und 5 gelten sinngemäss auch für Reserven aus Kapitaleinlagen, die für die Ausgabe von Gratisaktien oder für Gratisnennwerterhöhungen verwendet werden.47
7    Entspricht bei der Rückgabe von Beteiligungsrechten an einer Kapitalgesellschaft oder Genossenschaft, die an einer schweizerischen Börse kotiert ist, die Rückzahlung der Reserven aus Kapitaleinlagen nicht mindestens der Hälfte des erhaltenen Liquidationsüberschusses, so vermindert sich der steuerbare Anteil dieses Liquidationsüberschusses um die halbe Differenz zwischen diesem Anteil und der Rückzahlung, höchstens aber im Umfang der in der Gesellschaft vorhandenen Reserven aus Kapitaleinlagen, die auf diese Beteiligungsrechte entfallen.48
8    Absatz 3 gilt für Einlagen und Aufgelder, die während eines Kapitalbands nach den Artikeln 653s ff. des Obligationenrechts (OR)49 geleistet werden, nur soweit sie die Rückzahlungen von Reserven im Rahmen dieses Kapitalbands übersteigen.50
LIFD les distributions dissimulées de bénéfice, à savoir les prestations qu'une société fournit sans obtenir de contre-prestation correspondante à un actionnaire ou à une personne le ou la touchant de près, qu'elle n'aurait pas accordées à de telles conditions à un tiers et que la disproportion entre la prestation et la contre-prestation est manifeste, de telle sorte que les organes de la société savaient ou auraient pu se rendre compte de l'avantage qu'ils accordaient (cf. ATF 140 II 88 consid. 4.1 p. 92 et les références; 138 II 57 consid. 2.2 p. 59 s.). Le point de savoir s'il existe une disproportion (manifeste) entre les prestations se détermine au moyen d'une comparaison avec ce qui aurait été convenu entre personnes indépendantes (principe de pleine concurrence; "dealing at arm's length"; cf. ATF 140 II 88 consid. 4.1 p. 92 s.; 138 II 57 consid. 2.2 p. 59 s. et consid. 4.1 p. 61; 131 II 593 consid. 5.1 p. 607; arrêt 2C 445/2015 du 26 août 2016 consid. 6.3.4).

8.1.2. Il y a distribution dissimulée de bénéfice si une société effectue une dépense qui ne sert qu'à l'entretien de l'actionnaire ou à son propre plaisir (cf. arrêt 2C 124/2016 du 31 janvier 2017 consid. 6.1 et les références).
Selon la jurisprudence, il y a ainsi, notamment, distribution dissimulée de bénéfice lorsqu'une société prend à sa charge des frais personnels d'entretien ou de hobby de l'actionnaire (par exemple arrêts 2C 276/2018 du 15 juin 2018 consid. 2.4; 2C 795/2015 du 3 mai 2015 consid. 2.2; 2A.55/2001 du 6 mars 2002 consid. 4.4; 2A.315/1991 du 22 octobre 1992 consid. 2a, in Archives 63 p. 145, traduit in RDAF 1995 p. 38), lorsqu'elle prend à sa charge des frais d'entretiens ou de travaux dans la villa de l'actionnaire (cf. arrêt 2C 543/2008 du 27 mars 2009 consid. 3) ou lorsqu'elle assume les frais relatifs à un bateau, utilisé sans justification commerciale mais pour satisfaire le goût personnel de l'actionnaire (arrêt 2C 124/2016 précité consid. 6.3). Dans l'arrêt 2C 795/2015 du 3 mai 2016, le Tribunal fédéral a retenu que, pour qu'une personne morale puisse réduire son bénéfice imposable des charges liées à des locaux appartenant à son actionnaire, ces charges devaient être justifiées par l'usage commercial et le prix payé à l'actionnaire conforme au marché. En l'occurrence, il n'avait pas été démontré que le montant de loyer payé à l'actionnaire par la société, au motif que celui-ci travaillait pour elle à la maison (home office),
constituait des frais justifiés par l'usage commercial déductibles. Il s'agissait bien plus de baux conclus pour la résidence d'habitation privée de l'actionnaire (arrêt 2C 795/2015 consid. 4.5 et 4.6).

8.1.3. S'agissant du fardeau de la preuve, les autorités fiscales doivent apporter la preuve que la société a fourni une prestation et qu'elle n'a pas obtenu de contre-prestation ou alors seulement une contre-prestation insuffisante. Si les preuves recueillies par l'autorité fiscale fournissent suffisamment d'indices révélant l'existence d'une telle disproportion, il appartient alors au contribuable d'établir l'exactitude de ses allégations contraires (ATF 138 II 57 consid. 7.1 p. 66; 133 II 153 consid. 4.3 p. 158 précité; arrêts 2C 927/2013 du 21 mai 2014 consid. 5.4, in RDAF 2014 II 463).

8.2. En l'occurrence, la Cour de justice a retenu que le recourant logeait gratuitement et depuis 1999 dans une villa qui était mise à sa disposition par A.________ SA et que cette société payait aussi des charges afférentes à cette villa. Elle a estimé que, dans un telle situation, l'existence d'un avantage appréciable en argent était présumée et qu'il incombait au recourant de démontrer le contraire. Or, le recourant avait échoué à le faire. Il avait allégué en vain que la villa représentait le siège de A.________ SA. Il apparaissait en effet que le siège de la recourant était à Plan-les-Ouates jusqu'en 2009 et que ce n'était qu'à compter de 2010 qu'il avait été déplacé à C.________. Le recourant n'avait par ailleurs pas prouvé que A.________ SA avait conclu le contrat de bail avec B.________ dans le but d'exercer son activité lucrative dans la villa. Il ressortait de ses allégations que le recourant utilisait la villa comme logement privé et qu'il s'en servait accessoirement à des fins professionnelles et commerciales (expositions, visites de clients et travail à domicile). Or, le fait de travailler à la maison procédait d'un choix personnel de sa part. De même, le fait que la villa serve de maison-témoin pour des expositions
avait déjà été pris en compte lors de la fixation du loyer payé par A.________ SA, lequel avait été abaissé en conséquence. La société n'aurait d'ailleurs jamais mis à disposition gratuitement la villa à un tiers étranger. En outre, c'était en vain que le recourant soutenait que s'il n'avait pas occupé le logement, celui-ci serait demeuré vide et A.________ SA aurait dû louer d'autres locaux pour la conduite de son activité. Ces faits n'étaient que des hypothèses sans pertinence sur l'appréciation juridique du cas d'espèce.

8.3. Le recourant objecte que la villa était le lieu depuis lequel A.________ SA déployait son activité principale. Le fait qu'elle soit utilisée comme villa-témoin pour des expositions requérait un entretien impeccable régulier, de sorte qu'elle ne pouvait pas être louée à un tiers. Son utilisation pour son activité commerciale permettait à la société d'éviter d'avoir à payer un loyer pour des locaux commerciaux pour le travail effectué par le recourant. Le fait que l'actionnaire occupe cette villa, sans engendrer de charges supplémentaires ni manque à gagner pour elle, ne pouvait pas être constitutif d'un avantage appréciable en argent. X.________ avait du reste fourni une contre-prestation puisqu'il avait dû subir des visites et prendre en charge de nombreux frais d'entretien, faisant économiser à A.________ SA les frais de gardiennage de la villa.

8.4. Ces éléments ne permettent pas de conclure à l'absence d'avantage appréciable en argent.
En premier lieu, c'est à bon droit que la Cour de justice a jugé que l'existence d'un avantage appréciable en argent était présumée dans les circonstances d'espèce. Le fait pour un actionnaire de bénéficier d'un logement gratuit dans une villa, le loyer étant payé par la société qui en assume du reste aussi à tout le moins une partie des charges d'entretien, constitue a priori manifestement un avantage appréciable en argent qui n'aurait pas été accordé à un tiers.
Les arguments développés par le recourant dans son recours pour prouver le contraire ne convainquent pas.
D'abord, ses arguments comportent des allégations appellatoires, qui contredisent les éléments de fait constatés par l'arrêt attaqué ou qui n'y figurent pas, sans que le recourant ne se plaigne de constatation arbitraire des faits. C'est ainsi que, contrairement à ce que soutient le recourant, il n'est pas établi que la villa était le lieu depuis lequel A.________ SA déployait son activité principale. L'arrêt attaqué constate au contraire que le siège de la société se trouvait à Plan-les-Ouates jusqu'en 2009. L'allégation selon laquelle la villa ne pouvait pas être louée à un tiers ne repose par ailleurs sur aucun fait constaté, de même que le fait que la présence du recourant aurait permis à A.________ SA d'économiser des frais de gardiennage.
Ensuite, le recourant échoue à démontrer que la prise en charge du loyer de 18'000 fr. par an et de frais de la villa par A.________ SA soit, même partiellement, justifiée par l'usage commercial. Les juges précédents ont admis que le fait que la villa puisse être utilisée comme villa-témoin pour des promotions constituait un inconvénient pour le recourant, mais ils ont relevé que ce fait avait déjà été pris en compte lors de la fixation du loyer. En tout état de cause, cet élément ne justifiait de toute manière pas que X.________ ait pu loger durant une dizaine d'années gratuitement dans la villa, et encore moins la prise en charge par la société des frais d'électricité, de chauffage, de nettoyage, d'entretien des locaux et d'autres charges liées à la villa. Par ailleurs, le recourant n'a pas démontré que le travail qu'il a prétendument effectué à domicile justifiait une prise en charge du loyer par la société.
Finalement, en tant que le recourant soutient que A.________ SA s'est épargnée des frais de locaux commerciaux en mettant la villa à disposition de son administrateur et actionnaire, de sorte qu'aucun avantage appréciable en argent ne pourrait être retenu, il perd de vue que l'existence d'un tel avantage est fondamentalement axée sur une comparaison de la transaction en cause avec une transaction entre tiers (cf. supra consid. 8.1.1). Il ne s'agit donc pas de savoir si A.________ SA a potentiellement économisé des frais supplémentaires, mais si la transaction qui est intervenue avec son actionnaire et administrateur aurait été convenue dans les mêmes termes avec un tiers. Or, c'est à bon droit que les juges précédents ont estimé qu'une société n'aurait jamais accordé un tel avantage à un tiers.

8.5. La Cour de justice a donc correctement appliqué le droit fédéral en jugeant que la mise à disposition de la villa de C.________ au recourant et que la prise en charge de frais d'entretien ou de consommation constituait un avantage appréciable en argent imposable à titre de revenu.
Les autres conditions à l'existence d'un avantage appréciable en argent sont au surplus réunies: la prestation a été fournie au recourant, soit à un actionnaire de la société, et les organes de A.________ SA ne pouvaient pas l'ignorer, puisque le bénéficiaire des prestations en était aussi l'administrateur.
Il s'ensuit que les griefs du recourant sont rejetés et que l'arrêt attaqué est confirmé s'agissant des reprises fiscales effectuées dans le revenu imposable.

9.
Le recourant conteste les bordereaux d'amende pour soustraction d'impôt. Il soutient qu'il n'a pas agi intentionnellement ni même par négligence. On était uniquement en présence d'une appréciation juridique différente de celle des autorités fiscales. Le recourant avait du reste toujours été transparent avec l'administration et sa fiduciaire, car il n'avait jamais caché que la villa était occupée. L'autorité fiscale disposait du reste de tous les documents nécessaires concernant la villa. La production du rapport établi suite au contrôle fiscal effectué dans B.________ aurait permis de le démontrer, mais cela avait été arbitrairement refusé par les juges cantonaux, en violation du droit à la preuve du recourant.

9.1. Le grief de violation du droit à la preuve (sur ce point, cf. ATF 140 I 285 consid. 6.3.1 p. 298 s. et les arrêts cités) n'est pas motivé de manière conforme à l'art. 106 al. 2
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 106 Rechtsanwendung - 1 Das Bundesgericht wendet das Recht von Amtes wegen an.
1    Das Bundesgericht wendet das Recht von Amtes wegen an.
2    Es prüft die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist.
LTF (cf. supra consid. 2). Le recourant n'a en particulier pas exposé en quoi les juges auraient procédé à une appréciation anticipée arbitraire des preuves en jugeant que ce rapport n'apporterait aucun élément pertinent pour juger de la réalisation des conditions de soustraction d'impôt (cf. arrêt attaqué consid. 6). Les juges précédents retiennent du reste que ce rapport semble ne jamais avoir existé, sans que le recourant ne se plaigne de constatation arbitraire des faits.

9.2. Aux termes de l'art. 175 al. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 175 Vollendete Steuerhinterziehung - 1 Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
1    Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
2    Die Busse beträgt in der Regel das Einfache der hinterzogenen Steuer. Sie kann bei leichtem Verschulden bis auf einen Drittel ermässigt, bei schwerem Verschulden bis auf das Dreifache erhöht werden.
3    Zeigt die steuerpflichtige Person erstmals eine Steuerhinterziehung selbst an, so wird von einer Strafverfolgung abgesehen (straflose Selbstanzeige), wenn:
a  die Hinterziehung keiner Steuerbehörde bekannt ist;
b  sie die Verwaltung bei der Festsetzung der Nachsteuer vorbehaltlos unterstützt; und
c  sie sich ernstlich um die Bezahlung der geschuldeten Nachsteuer bemüht.265
4    Bei jeder weiteren Selbstanzeige wird die Busse unter den Voraussetzungen nach Absatz 3 auf einen Fünftel der hinterzogenen Steuer ermässigt.266
LIFD, est puni d'une amende le contribuable qui, intentionnellement ou par négligence, fait en sorte qu'une taxation ne soit pas effectuée alors qu'elle devrait l'être, ou qu'une taxation entrée en force soit incomplète. Pour qu'il y ait soustraction au sens de l'art. 175 al. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 175 Vollendete Steuerhinterziehung - 1 Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
1    Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
2    Die Busse beträgt in der Regel das Einfache der hinterzogenen Steuer. Sie kann bei leichtem Verschulden bis auf einen Drittel ermässigt, bei schwerem Verschulden bis auf das Dreifache erhöht werden.
3    Zeigt die steuerpflichtige Person erstmals eine Steuerhinterziehung selbst an, so wird von einer Strafverfolgung abgesehen (straflose Selbstanzeige), wenn:
a  die Hinterziehung keiner Steuerbehörde bekannt ist;
b  sie die Verwaltung bei der Festsetzung der Nachsteuer vorbehaltlos unterstützt; und
c  sie sich ernstlich um die Bezahlung der geschuldeten Nachsteuer bemüht.265
4    Bei jeder weiteren Selbstanzeige wird die Busse unter den Voraussetzungen nach Absatz 3 auf einen Fünftel der hinterzogenen Steuer ermässigt.266
LIFD, il faut qu'il y ait soustraction d'un montant d'impôt en violation d'une obligation légale incombant au contribuable et une faute de ce dernier (arrêt 2C 1018/2015 du 2 novembre 2017 consid. 9.1 et les références, in RF 73/2018 p. 255, RDAF 2017 II 630).

9.3. La soustraction est punissable aussi bien lorsqu'elle est commise intentionnellement que lorsqu'elle l'est par négligence. La preuve d'un comportement intentionnel doit être considérée comme apportée lorsqu'il est établi avec une sécurité suffisante que le contribuable était conscient que les indications fournies étaient erronées ou incomplètes. Si cette conscience est établie, il faut admettre qu'il a volontairement cherché à induire les autorités fiscales en erreur, afin d'obtenir une taxation moins élevée ou du moins qu'il a agi par dol éventuel (cf. ATF 114 Ib 27 consid. 3a p. 29 s.; arrêt 2C 908/2011 du 23 avril 2012 consid. 3.4).

9.4. En l'occurrence, la Cour de justice a jugé à bon droit que le recourant avait régulièrement bénéficié d'économies d'impôt en ne déclarant pas les revenus issus des avantages appréciables en argent perçus de A.________ SA et ce au cours de plusieurs exercices fiscaux, qu'au vu de la position qu'il exerçait au sein de cette société, il ne pouvait pas l'ignorer que la jouissance de cette maison à titre gratuit constituait un avantage imposable et qu'il avait donc agi à tout le moins par dol éventuel. Quoi qu'il en dise, on ne se trouve pas dans une simple divergence dans l'appréciation de la valeur des prestations fournies. Par ailleurs, le fait que la présence du recourant dans la villa n'ait pas été cachée à l'Administration cantonale - ce qui n'est au demeurant pas établi - ne change rien au fait qu'en bénéficiant d'un logement gratuit et de la prise en charge d'autres frais, il a accepté un avantage appréciable en argent de la part de la société, dont il ne pouvait ignorer qu'il représentait un revenu imposable. On ne voit au surplus pas que le fait que le recourant ait été, comme il le dit, transparent avec la fiduciaire qui a rempli sa déclaration d'impôt jouerait un rôle dans la réalisation des conditions de la
soustraction d'impôt. Comme l'a rappelé à bon droit la Cour de justice, le contribuable qui mandate une fiduciaire pour remplir sa déclaration d'impôt n'est pas déchargé de ses obligations et responsabilités fiscales et ne peut se libérer en faisant valoir qu'il s'est fait assister ou conseiller (cf. au surplus arrêt 2C 908/2011 du 23 avril 2012 consid. 3.5 et les références, in RDAF 2012 II 324).
Le grief de violation de l'art. 175 al. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 175 Vollendete Steuerhinterziehung - 1 Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
1    Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
2    Die Busse beträgt in der Regel das Einfache der hinterzogenen Steuer. Sie kann bei leichtem Verschulden bis auf einen Drittel ermässigt, bei schwerem Verschulden bis auf das Dreifache erhöht werden.
3    Zeigt die steuerpflichtige Person erstmals eine Steuerhinterziehung selbst an, so wird von einer Strafverfolgung abgesehen (straflose Selbstanzeige), wenn:
a  die Hinterziehung keiner Steuerbehörde bekannt ist;
b  sie die Verwaltung bei der Festsetzung der Nachsteuer vorbehaltlos unterstützt; und
c  sie sich ernstlich um die Bezahlung der geschuldeten Nachsteuer bemüht.265
4    Bei jeder weiteren Selbstanzeige wird die Busse unter den Voraussetzungen nach Absatz 3 auf einen Fünftel der hinterzogenen Steuer ermässigt.266
LIFD est partant rejeté.

9.5. Au surplus, le recourant ne formule à juste titre aucun grief concernant la quotité d'amende de 1.25 fois le montant de l'impôt soustrait, qui a été confirmée par la Cour de justice. On ne voit en effet pas que cette quotité d'amende procède d'un excès ou d'un abus du pouvoir d'appréciation (sur les principes régissant la fixation de l'amende pour soustraction d'impôt, cf. ATF 144 IV 136 consid. 9.1 p. 152 s. et les références).

IV. Impôt cantonal et communal

10.
La jurisprudence rendue en matière d'impôt fédéral direct est également valable pour l'application des dispositions cantonales harmonisées correspondantes (ATF 140 II 88 consid. 10 et les références citées).

10.1. S'agissant de la péremption du droit de procéder au rappel d'impôt, l'art. 53 al. 3
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 53 - 1 Ergibt sich aufgrund von Tatsachen oder Beweismitteln, die der Steuerbehörde nicht bekannt waren, dass eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist, oder ist eine unterbliebene oder unvollständige Veranlagung auf ein Verbrechen oder Vergehen gegen die Steuerbehörde zurückzuführen, so wird die nicht erhobene Steuer samt Zins als Nachsteuer eingefordert. Wegen ungenügender Bewertung allein kann keine Nachsteuer erhoben werden.
1    Ergibt sich aufgrund von Tatsachen oder Beweismitteln, die der Steuerbehörde nicht bekannt waren, dass eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist, oder ist eine unterbliebene oder unvollständige Veranlagung auf ein Verbrechen oder Vergehen gegen die Steuerbehörde zurückzuführen, so wird die nicht erhobene Steuer samt Zins als Nachsteuer eingefordert. Wegen ungenügender Bewertung allein kann keine Nachsteuer erhoben werden.
2    Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist.
3    Das Recht, die Nachsteuer festzusetzen, erlischt 15 Jahre nach Ablauf der Steuerperiode, auf die sie sich bezieht.
4    Wenn bei Einleitung eines Nachsteuerverfahrens ein Strafverfahren wegen Steuerhinterziehung weder eingeleitet wird noch hängig ist noch von vornherein ausgeschlossen werden kann, wird die steuerpflichtige Person auf die Möglichkeit der späteren Einleitung eines solchen Strafverfahrens aufmerksam gemacht.196
LHID et l'art. 61 al. 3 LPFisc ont la même teneur que l'art. 152 al. 3
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 152 Verwirkung - 1 Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist.
1    Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist.
2    Die Eröffnung der Strafverfolgung wegen Steuerhinterziehung oder Steuervergehens gilt zugleich als Einleitung des Nachsteuerverfahrens.
3    Das Recht, die Nachsteuer festzusetzen, erlischt 15 Jahre nach Ablauf der Steuerperiode, auf die sie sich bezieht.
LIFD. Le même raisonnement que pour l'IFD s'applique donc pour l'impôt cantonal harmonisé (cf. arrêts 2C 760/2017 du 15 juin 2018 consid. 4.1; 2C 722/2017 précité consid. 3.1.1) et conduit au constat de la péremption du droit de procéder au rappel d'impôt des périodes 2001 (comme l'a déjà admis la Cour de justice) et 2002.
S'agissant de la prescription de la poursuite pénale pour soustraction d'impôt consommée, l'art. 58 al. 2 let. a
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 58 Verjährung der Strafverfolgung - 1 Die Strafverfolgung wegen Verletzung von Verfahrenspflichten verjährt drei Jahre und diejenige wegen versuchter Steuerhinterziehung sechs Jahre nach dem rechtskräftigen Abschluss des Verfahrens, in dem die Verfahrenspflichten verletzt oder die Steuern zu hinterziehen versucht wurden.
1    Die Strafverfolgung wegen Verletzung von Verfahrenspflichten verjährt drei Jahre und diejenige wegen versuchter Steuerhinterziehung sechs Jahre nach dem rechtskräftigen Abschluss des Verfahrens, in dem die Verfahrenspflichten verletzt oder die Steuern zu hinterziehen versucht wurden.
2    Die Strafverfolgung wegen vollendeter Steuerhinterziehung verjährt zehn Jahre nach Ablauf:
a  der Steuerperiode, für welche die steuerpflichtige Person nicht oder unvollständig veranlagt wurde oder der Steuerabzug an der Quelle nicht gesetzmässig erfolgte (Art. 56 Abs. 1);
b  des Kalenderjahres, in dem eine unrechtmässige Rückerstattung oder ein ungerechtfertigter Erlass erwirkt wurde (Art. 56 Abs. 1) oder Nachlasswerte im Inventarverfahren verheimlicht oder beiseitegeschafft wurden (Art. 56 Abs. 4).
3    Die Verjährung tritt nicht mehr ein, wenn die zuständige kantonale Behörde (Art. 57bis Abs. 1) vor Ablauf der Verjährungsfrist eine Verfügung erlassen hat.
et al. 3 LHID, en vigueur depuis le 1 er janvier 2017, a un contenu identique à celui de l'art. 184
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 184 - 1 Die Strafverfolgung verjährt:
1    Die Strafverfolgung verjährt:
a  bei Verletzung von Verfahrenspflichten drei Jahre und bei versuchter Steuerhinterziehung sechs Jahre nach dem rechtskräftigen Abschluss des Verfahrens, in dem die Verfahrenspflichten verletzt oder die Steuern zu hinterziehen versucht wurden;
b  bei vollendeter Steuerhinterziehung zehn Jahre nach Ablauf:
b1  der Steuerperiode, für welche die steuerpflichtige Person nicht oder unvollständig veranlagt wurde oder der Steuerabzug an der Quelle nicht gesetzmässig erfolgte (Art. 175 Abs. 1),
b2  des Kalenderjahres, in dem eine unrechtmässige Rückerstattung oder ein ungerechtfertigter Erlass erwirkt wurde (Art. 175 Abs. 1) oder Nachlasswerte im Inventarverfahren verheimlicht oder beiseitegeschafft wurden (Art. 178 Abs. 1-3).
2    Die Verjährung tritt nicht mehr ein, wenn die zuständige kantonale Behörde (Art. 182 Abs. 1) vor Ablauf der Verjährungsfrist eine Verfügung erlassen hat.
LIFD; il est directement applicable si les cantons n'ont pas adapté leur législation au 1 er janvier 2017 (art. 72s
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 72s
LHID; cf. art. 77 LPFisc dont l'al. 2 diffère de l'art. 58 al. 3
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 58 Verjährung der Strafverfolgung - 1 Die Strafverfolgung wegen Verletzung von Verfahrenspflichten verjährt drei Jahre und diejenige wegen versuchter Steuerhinterziehung sechs Jahre nach dem rechtskräftigen Abschluss des Verfahrens, in dem die Verfahrenspflichten verletzt oder die Steuern zu hinterziehen versucht wurden.
1    Die Strafverfolgung wegen Verletzung von Verfahrenspflichten verjährt drei Jahre und diejenige wegen versuchter Steuerhinterziehung sechs Jahre nach dem rechtskräftigen Abschluss des Verfahrens, in dem die Verfahrenspflichten verletzt oder die Steuern zu hinterziehen versucht wurden.
2    Die Strafverfolgung wegen vollendeter Steuerhinterziehung verjährt zehn Jahre nach Ablauf:
a  der Steuerperiode, für welche die steuerpflichtige Person nicht oder unvollständig veranlagt wurde oder der Steuerabzug an der Quelle nicht gesetzmässig erfolgte (Art. 56 Abs. 1);
b  des Kalenderjahres, in dem eine unrechtmässige Rückerstattung oder ein ungerechtfertigter Erlass erwirkt wurde (Art. 56 Abs. 1) oder Nachlasswerte im Inventarverfahren verheimlicht oder beiseitegeschafft wurden (Art. 56 Abs. 4).
3    Die Verjährung tritt nicht mehr ein, wenn die zuständige kantonale Behörde (Art. 57bis Abs. 1) vor Ablauf der Verjährungsfrist eine Verfügung erlassen hat.
LHID; cf. arrêt 2C 760/2017 précité consid. 4.2). L'art. 78f
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 78f Übergangsbestimmung zur Änderung vom 26. September 2014 - Für die Beurteilung von Straftaten, die in Steuerperioden vor Inkrafttreten der Änderung vom 26. September 2014 begangen wurden, ist das neue Recht anwendbar, sofern dieses milder ist als das in jenen Steuerperioden geltende Recht.
LHID prévoit également l'application de la lex mitior (cf. arrêt 2C 12/2017 précité consid. 4.3 non publié). Le même raisonnement est partant applicable en matière d'ICC qu'en matière IFD et conduit au constat que la poursuite pénale pour soustraction d'impôt des périodes fiscales 2002 et 2003 est prescrite, contrairement à ce qu'a retenu l'instance précédente.

10.2. La notion d'avantage appréciable en argent en sens de l'art. 20 al. 1 let. c
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 20 - 1 Steuerbar sind die Erträge aus beweglichem Vermögen, insbesondere:
1    Steuerbar sind die Erträge aus beweglichem Vermögen, insbesondere:
a  Zinsen aus Guthaben, einschliesslich ausbezahlter Erträge aus rückkaufsfähigen Kapitalversicherungen mit Einmalprämie im Erlebensfall oder bei Rückkauf, ausser wenn diese Kapitalversicherungen der Vorsorge dienen. Als der Vorsorge dienend gilt die Auszahlung der Versicherungsleistung ab dem vollendeten 60. Altersjahr des Versicherten auf Grund eines mindestens fünfjährigen Vertragsverhältnisses, das vor Vollendung des 66. Altersjahres begründet wurde. In diesem Fall ist die Leistung steuerfrei;
b  Einkünfte aus der Veräusserung oder Rückzahlung von Obligationen mit überwiegender Einmalverzinsung (globalverzinsliche Obligationen, Diskont-Obligationen), die dem Inhaber anfallen;
c  Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Beteiligungen aller Art (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.). Ein bei der Rückgabe von Beteiligungsrechten im Sinne von Artikel 4a des Bundesgesetzes vom 13. Oktober 196541 über die Verrechnungssteuer (VStG) an die Kapitalgesellschaft oder Genossenschaft erzielter Liquidationsüberschuss gilt in dem Jahre als realisiert, in welchem die Verrechnungssteuerforderung entsteht (Art. 12 Abs. 1 und 1bis VStG); Absatz 1bis bleibt vorbehalten;
d  Einkünfte aus Vermietung, Verpachtung, Nutzniessung oder sonstiger Nutzung beweglicher Sachen oder nutzbarer Rechte;
e  Einkünfte aus Anteilen an kollektiven Kapitalanlagen, soweit die Gesamterträge die Erträge aus direktem Grundbesitz übersteigen;
f  Einkünfte aus immateriellen Gütern.
1bis    Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Aktien, Anteilen an Gesellschaften mit beschränkter Haftung, Genossenschaftsanteilen und Partizipationsscheinen (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.) sind im Umfang von 70 Prozent steuerbar, wenn diese Beteiligungsrechte mindestens 10 Prozent des Grund- oder Stammkapitals einer Kapitalgesellschaft oder Genossenschaft darstellen.43
2    Der Erlös aus Bezugsrechten gilt nicht als Vermögensertrag, sofern sie zum Privatvermögen des Steuerpflichtigen gehören.
3    Die Rückzahlung von Einlagen, Aufgeldern und Zuschüssen (Reserven aus Kapitaleinlagen), die von den Inhabern der Beteiligungsrechte nach dem 31. Dezember 1996 geleistet worden sind, wird gleich behandelt wie die Rückzahlung von Grund- oder Stammkapital. Absatz 4 bleibt vorbehalten.44
4    Schüttet eine Kapitalgesellschaft oder Genossenschaft, die an einer schweizerischen Börse kotiert ist, bei der Rückzahlung von Reserven aus Kapitaleinlagen nach Absatz 3 nicht mindestens im gleichen Umfang übrige Reserven aus, so ist die Rückzahlung im Umfang der halben Differenz zwischen der Rückzahlung und der Ausschüttung der übrigen Reserven steuerbar, höchstens aber im Umfang der in der Gesellschaft vorhandenen, handelsrechtlich ausschüttungsfähigen übrigen Reserven.45
5    Absatz 4 ist nicht anwendbar auf Reserven aus Kapitaleinlagen:
a  die bei fusionsähnlichen Zusammenschlüssen durch Einbringen von Beteiligungs- und Mitgliedschaftsrechten an einer ausländischen Kapitalgesellschaft oder Genossenschaft nach Artikel 61 Absatz 1 Buchstabe c oder durch eine grenzüberschreitende Übertragung auf eine inländische Tochtergesellschaft nach Artikel 61 Absatz 1 Buchstabe d nach dem 24. Februar 2008 entstanden sind;
b  die im Zeitpunkt einer grenzüberschreitenden Fusion oder Umstrukturierung nach Artikel 61 Absatz 1 Buchstabe b und Absatz 3 oder der Verlegung des Sitzes oder der tatsächlichen Verwaltung nach dem 24. Februar 2008 bereits in einer ausländischen Kapitalgesellschaft oder Genossenschaft vorhanden waren;
c  im Falle der Liquidation der Kapitalgesellschaft oder Genossenschaft.46
6    Die Absätze 4 und 5 gelten sinngemäss auch für Reserven aus Kapitaleinlagen, die für die Ausgabe von Gratisaktien oder für Gratisnennwerterhöhungen verwendet werden.47
7    Entspricht bei der Rückgabe von Beteiligungsrechten an einer Kapitalgesellschaft oder Genossenschaft, die an einer schweizerischen Börse kotiert ist, die Rückzahlung der Reserven aus Kapitaleinlagen nicht mindestens der Hälfte des erhaltenen Liquidationsüberschusses, so vermindert sich der steuerbare Anteil dieses Liquidationsüberschusses um die halbe Differenz zwischen diesem Anteil und der Rückzahlung, höchstens aber im Umfang der in der Gesellschaft vorhandenen Reserven aus Kapitaleinlagen, die auf diese Beteiligungsrechte entfallen.48
8    Absatz 3 gilt für Einlagen und Aufgelder, die während eines Kapitalbands nach den Artikeln 653s ff. des Obligationenrechts (OR)49 geleistet werden, nur soweit sie die Rückzahlungen von Reserven im Rahmen dieses Kapitalbands übersteigen.50
LIFD est identique à celle prévue à l'art. 6 let. c de l'ancienne loi genevoise sur l'imposition des personnes physiques - Impôt sur le revenu (revenu imposable), en vigueur jusqu'au 31 décembre 2009 (aLIPP-IV; aRSGE D 3 14, abrogée par l'art. 69 al. 1 de la loi sur l'imposition des personnes physiques du 27 septembre 2009 en vigueur dès le 1 er janvier 2010; RSGE D 3 08). Elle correspond par ailleurs à l'art. 7 al. 1
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 7 Grundsatz - 1 Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte, insbesondere solche aus unselbständiger und selbständiger Erwerbstätigkeit, aus Vermögensertrag, eingeschlossen die Eigennutzung von Grundstücken, aus Vorsorgeeinrichtungen sowie aus Leibrenten. Die vom Arbeitgeber getragenen Kosten der berufsorientierten Aus- und Weiterbildung16, einschliesslich Umschulungskosten, stellen unabhängig von deren Höhe keine steuerbaren Einkünfte dar. Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Aktien, Anteilen an Gesellschaften mit beschränkter Haftung, Genossenschaftsanteilen und Partizipationsscheinen (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.) sind im Umfang von 50 Prozent steuerbar, wenn diese Beteiligungsrechte mindestens 10 Prozent des Grund- oder Stammkapitals einer Kapitalgesellschaft oder Genossenschaft darstellen.17 Die Kantone können eine höhere Besteuerung vorsehen.18 19
1    Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte, insbesondere solche aus unselbständiger und selbständiger Erwerbstätigkeit, aus Vermögensertrag, eingeschlossen die Eigennutzung von Grundstücken, aus Vorsorgeeinrichtungen sowie aus Leibrenten. Die vom Arbeitgeber getragenen Kosten der berufsorientierten Aus- und Weiterbildung16, einschliesslich Umschulungskosten, stellen unabhängig von deren Höhe keine steuerbaren Einkünfte dar. Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Aktien, Anteilen an Gesellschaften mit beschränkter Haftung, Genossenschaftsanteilen und Partizipationsscheinen (einschliesslich Gratisaktien, Gratisnennwerterhöhungen u. dgl.) sind im Umfang von 50 Prozent steuerbar, wenn diese Beteiligungsrechte mindestens 10 Prozent des Grund- oder Stammkapitals einer Kapitalgesellschaft oder Genossenschaft darstellen.17 Die Kantone können eine höhere Besteuerung vorsehen.18 19
1bis    Ein bei der Rückgabe von Beteiligungsrechten im Sinne von Artikel 4a des Bundesgesetzes vom 13. Oktober 196520 über die Verrechnungssteuer an die Kapitalgesellschaft oder Genossenschaft erzielter Vermögensertrag gilt in dem Jahr als realisiert, in welchem die Verrechnungssteuerforderung entsteht (Art. 12 Abs. 1 und 1bis des BG vom 13. Okt. 1965 über die Verrechnungssteuer).21
1ter    Erträge aus rückkaufsfähigen Kapitalversicherungen mit Einmalprämie sind im Erlebensfall oder bei Rückkauf steuerbar, ausser wenn diese Kapitalversicherungen der Vorsorge dienen. Als der Vorsorge dienend gilt die Auszahlung der Versicherungsleistung ab dem vollendeten 60. Altersjahr des Versicherten auf Grund eines mindestens fünfjährigen Vertragsverhältnisses, das vor Vollendung des 66. Altersjahres begründet wurde. In diesem Fall ist die Leistung steuerfrei.22
2    Leibrenten sowie Einkünfte aus Verpfründung sind zu 40 Prozent steuerbar.23
3    Einkünfte aus Anteilen an kollektiven Kapitalanlagen gemäss Kollektivanlagengesetz vom 23. Juni 200624 (KAG) werden den Anlegern anteilsmässig zugerechnet; Einkünfte aus Anteilen an kollektiven Kapitalanlagen mit direktem Grundbesitz sind nur steuerbar, soweit die Gesamterträge die Erträge aus direktem Grundbesitz übersteigen.25
4    Steuerfrei sind nur:
a  der Erlös aus Bezugsrechten, sofern die Vermögensrechte zum Privatvermögen gehören;
b  Kapitalgewinne auf beweglichem Privatvermögen; vorbehalten bleibt Artikel 12 Absatz 2 Buchstaben a und d;
c  Vermögensanfall infolge Erbschaft, Vermächtnis, Schenkung oder güterrechtlicher Auseinandersetzung;
d  der Vermögensanfall aus rückkaufsfähiger privater Kapitalversicherung, ausgenommen aus Freizügigkeitspolicen. Absatz 1ter bleibt vorbehalten;
e  Kapitalzahlungen, die bei Stellenwechsel vom Arbeitgeber oder von Einrichtungen der beruflichen Vorsorge ausgerichtet werden, wenn sie der Empfänger innert Jahresfrist zum Einkauf in eine Einrichtung der beruflichen Vorsorge oder zum Erwerb einer Freizügigkeitspolice verwendet;
f  Unterstützungen aus öffentlichen oder privaten Mitteln;
g  Leistungen in Erfüllung familienrechtlicher Verpflichtungen, ausgenommen die vom geschiedenen, gerichtlich oder tatsächlich getrennt lebenden Ehegatten erhaltenen Unterhaltsbeiträge sowie die Unterhaltsbeiträge, die ein Elternteil für die unter seiner elterlichen Sorge stehenden Kinder erhält;
h  der Sold für Militär- und Schutzdienst sowie das Taschengeld für Zivildienst;
hbis  der Sold der Milizfeuerwehrleute bis zu einem nach kantonalem Recht bestimmten jährlichen Betrag für Dienstleistungen im Zusammenhang mit der Erfüllung der Kernaufgaben der Feuerwehr (Übungen, Pikettdienste, Kurse, Inspektionen und Ernstfalleinsätze zur Rettung, Brandbekämpfung, allgemeinen Schadenwehr, Elementarschadenbewältigung und dergleichen); ausgenommen sind Pauschalzulagen für Kader, Funktionszulagen sowie Entschädigungen für administrative Arbeiten und für Dienstleistungen, welche die Feuerwehr freiwillig erbringt;
i  Zahlungen von Genugtuungssummen;
k  Einkünfte aufgrund der Bundesgesetzgebung über Ergänzungsleistungen zur Alters-, Hinterlassenen- und Invalidenversicherung;
l  die Gewinne, die in Spielbanken mit Spielbankenspielen erzielt werden, die nach dem Geldspielgesetz vom 29. September 201730 (BGS) zugelassen sind, sofern diese Gewinne nicht aus selbstständiger Erwerbstätigkeit stammen;
lbis  die einzelnen Gewinne bis zu einem Betrag von 1 Million Franken oder zu einem nach kantonalem Recht bestimmten höheren Betrag aus der Teilnahme an Grossspielen, die nach dem BGS zugelassen sind, und aus der Online-Teilnahme an Spielbankenspielen, die nach dem BGS zugelassen sind;
lter  die Gewinne aus Kleinspielen, die nach dem BGS zugelassen sind;
m  die einzelnen Gewinne aus Lotterien und Geschicklichkeitsspielen zur Verkaufsförderung, die nach Artikel 1 Absatz 2 Buchstaben d und e BGS diesem nicht unterstehen, sofern die nach kantonalem Recht bestimmte Grenze nicht überschritten wird;
n  Einkünfte aufgrund des Bundesgesetzes vom 19. Juni 202035 über Überbrückungsleistungen für ältere Arbeitslose.
LHID. Le raisonnement développé ci-dessus en matière d'IFD est partant aussi applicable en matière d'ICC.

10.3. Il en va de même s'agissant de la soustraction d'impôt consommée, l'art. 69 al. 1 LPFisc ayant la même teneur que l'art. 56
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 56 Steuerhinterziehung - 1 Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
1    Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
1bis    Zeigt die steuerpflichtige Person erstmals eine Steuerhinterziehung selbst an, so wird von einer Strafverfolgung abgesehen (straflose Selbstanzeige), wenn:
a  die Hinterziehung keiner Steuerbehörde bekannt ist;
b  sie die Steuerbehörden bei der Feststellung der hinterzogenen Vermögens- und Einkommenselemente vorbehaltlos unterstützt; und
c  sie sich ernstlich um die Bezahlung der geschuldeten Nachsteuer bemüht.200
1ter    Bei jeder weiteren Selbstanzeige wird die Busse unter den Voraussetzungen nach Absatz 1bis auf einen Fünftel der hinterzogenen Steuer ermässigt.201
2    Wer Steuern zu hinterziehen versucht, wird mit einer Busse bestraft, die zwei Drittel der bei vollendeter Begehung auszufällenden Busse beträgt.
3    Wer zu einer Steuerhinterziehung anstiftet, Hilfe leistet oder als Vertreter des Steuerpflichtigen vorsätzlich eine Steuerhinterziehung bewirkt oder an einer solchen mitwirkt, wird ohne Rücksicht auf die Strafbarkeit des Steuerpflichtigen mit Busse bestraft und haftet solidarisch für die hinterzogene Steuer. Die Busse beträgt bis zu 10 000 Franken, in schweren Fällen oder bei Rückfall bis zu 50 000 Franken.
3bis    Zeigt sich eine Person nach Absatz 3 erstmals selbst an und sind die Voraussetzungen nach Absatz 1bis Buchstaben a und b erfüllt, so wird von einer Strafverfolgung abgesehen und die Solidarhaftung entfällt.202
4    Wer Nachlasswerte, zu deren Bekanntgabe er im Inventarverfahren verpflichtet ist, verheimlicht oder beiseite schafft, in der Absicht, sie der Inventaraufnahme zu entziehen, sowie
5    Zeigt sich eine Person nach Absatz 4 erstmals selbst an, so wird von einer Strafverfolgung wegen Verheimlichung oder Beiseiteschaffung von Nachlasswerten im Inventarverfahren und wegen allfälliger anderer in diesem Zusammenhang begangener Straftaten abgesehen (straflose Selbstanzeige), wenn:
a  die Widerhandlung keiner Steuerbehörde bekannt ist; und
b  die Person die Verwaltung bei der Berichtigung des Inventars vorbehaltlos unterstützt.204
LHID et correspondant à l'art. 175 al. 1
SR 642.11 Bundesgesetz vom 14. Dezember 1990 über die direkte Bundessteuer (DBG)
DBG Art. 175 Vollendete Steuerhinterziehung - 1 Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
1    Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt, dass eine Veranlagung zu Unrecht unterbleibt oder dass eine rechtskräftige Veranlagung unvollständig ist,
2    Die Busse beträgt in der Regel das Einfache der hinterzogenen Steuer. Sie kann bei leichtem Verschulden bis auf einen Drittel ermässigt, bei schwerem Verschulden bis auf das Dreifache erhöht werden.
3    Zeigt die steuerpflichtige Person erstmals eine Steuerhinterziehung selbst an, so wird von einer Strafverfolgung abgesehen (straflose Selbstanzeige), wenn:
a  die Hinterziehung keiner Steuerbehörde bekannt ist;
b  sie die Verwaltung bei der Festsetzung der Nachsteuer vorbehaltlos unterstützt; und
c  sie sich ernstlich um die Bezahlung der geschuldeten Nachsteuer bemüht.265
4    Bei jeder weiteren Selbstanzeige wird die Busse unter den Voraussetzungen nach Absatz 3 auf einen Fünftel der hinterzogenen Steuer ermässigt.266
LIFD.

11.
S'agissant des reprises effectuées dans la fortune imposable du recourant, en lien avec la détention d'actions de A.________ SA, il faut relever ce qui suit.

11.1. L'impôt sur la fortune comprend les actions d'une société anonyme (art. 13
SR 642.14 Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (Steuerharmonisierungsgesetz, StHG) - Steuerharmonisierungsgesetz
StHG Art. 13 Steuerobjekt - 1 Der Vermögenssteuer unterliegt das gesamte Reinvermögen.
1    Der Vermögenssteuer unterliegt das gesamte Reinvermögen.
2    Nutzniessungsvermögen wird dem Nutzniesser zugerechnet.
3    Bei Anteilen an kollektiven Kapitalanlagen mit direktem Grundbesitz ist die Wertdifferenz zwischen den Gesamtaktiven der kollektiven Kapitalanlage und deren direktem Grundbesitz steuerbar.88
4    Hausrat und persönliche Gebrauchsgegenstände werden nicht besteuert.
LHID et art. 2 let. b de l'ancienne loi sur l'imposition des personnes physiques - Impôt sur la fortune, en vigueur jusqu'au 31 décembre 2009 (aLIPP-III; aRSGE D 3 13), abrogée par l'art. 69 al. 1 LIPP.

11.2. L'arrêt attaqué a confirmé les reprises effectuées dans la fortune imposable du recourant des périodes fiscales 2001 à 2007 en lien avec la non-déclaration des actions de A.________ SA, tout en constatant la prescription du droit de procéder à la taxation de la période fiscale 2001.

11.3. Dans ses conclusions, le recourant demande certes l'annulation de "toutes" les reprises effectuées. Toutefois, il concentre ses griefs sur les reprises qui ont été effectuées dans son revenu et ne formule aucun grief à l'encontre des reprises qui ont été effectuées dans sa fortune en lien avec la détention d'actions de A.________ SA. Le mémoire de recours ne contient par ailleurs aucun grief selon lequel les juges précédents auraient arbitrairement constaté qu'il était détenteur d'actions de A.________ SA durant toutes les périodes fiscales litigieuses. Il faut donc en déduire que le recourant ne conteste désormais plus qu'il était actionnaire de A.________ SA durant ces périodes. Les reprises sont donc confirmées. Comme l'a constaté la Cour de justice, la prescription a toutefois été atteinte s'agissant de la période fiscale 2001. Elle l'est également, depuis le 31 décembre 2017, s'agissant de la période fiscale 2002 (cf. supra consid. 10.1).

V. Conséquences, ainsi que frais et dépens

12.
Ce qui précède conduit à l'admission partielle du recours. L'arrêt attaqué est réformé en ce sens que le droit de procéder au rappel d'impôt est prescrit s'agissant de la période fiscale 2002, tant en ce qui concerne l'IFD que l'ICC, et que le droit de sanctionner la soustraction d'impôt est prescrit pour les périodes fiscales 2002 et 2003, et ce tant en matière d'IFD que d'ICC. L'arrêt attaqué est confirmé pour le surplus.

13.
Comme le recourant obtient partiellement gain de cause en raison de la prescription, il ne supportera que les deux tiers des frais de la procédure fédérale (art. 66 al. 1
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 66 Erhebung und Verteilung der Gerichtskosten - 1 Die Gerichtskosten werden in der Regel der unterliegenden Partei auferlegt. Wenn die Umstände es rechtfertigen, kann das Bundesgericht die Kosten anders verteilen oder darauf verzichten, Kosten zu erheben.
1    Die Gerichtskosten werden in der Regel der unterliegenden Partei auferlegt. Wenn die Umstände es rechtfertigen, kann das Bundesgericht die Kosten anders verteilen oder darauf verzichten, Kosten zu erheben.
2    Wird ein Fall durch Abstandserklärung oder Vergleich erledigt, so kann auf die Erhebung von Gerichtskosten ganz oder teilweise verzichtet werden.
3    Unnötige Kosten hat zu bezahlen, wer sie verursacht.
4    Dem Bund, den Kantonen und den Gemeinden sowie mit öffentlich-rechtlichen Aufgaben betrauten Organisationen dürfen in der Regel keine Gerichtskosten auferlegt werden, wenn sie in ihrem amtlichen Wirkungskreis, ohne dass es sich um ihr Vermögensinteresse handelt, das Bundesgericht in Anspruch nehmen oder wenn gegen ihre Entscheide in solchen Angelegenheiten Beschwerde geführt worden ist.
5    Mehrere Personen haben die ihnen gemeinsam auferlegten Gerichtskosten, wenn nichts anderes bestimmt ist, zu gleichen Teilen und unter solidarischer Haftung zu tragen.
LTF), le solde étant à la charge de l'autorité intimée, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu (art. 66 al. 1
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 66 Erhebung und Verteilung der Gerichtskosten - 1 Die Gerichtskosten werden in der Regel der unterliegenden Partei auferlegt. Wenn die Umstände es rechtfertigen, kann das Bundesgericht die Kosten anders verteilen oder darauf verzichten, Kosten zu erheben.
1    Die Gerichtskosten werden in der Regel der unterliegenden Partei auferlegt. Wenn die Umstände es rechtfertigen, kann das Bundesgericht die Kosten anders verteilen oder darauf verzichten, Kosten zu erheben.
2    Wird ein Fall durch Abstandserklärung oder Vergleich erledigt, so kann auf die Erhebung von Gerichtskosten ganz oder teilweise verzichtet werden.
3    Unnötige Kosten hat zu bezahlen, wer sie verursacht.
4    Dem Bund, den Kantonen und den Gemeinden sowie mit öffentlich-rechtlichen Aufgaben betrauten Organisationen dürfen in der Regel keine Gerichtskosten auferlegt werden, wenn sie in ihrem amtlichen Wirkungskreis, ohne dass es sich um ihr Vermögensinteresse handelt, das Bundesgericht in Anspruch nehmen oder wenn gegen ihre Entscheide in solchen Angelegenheiten Beschwerde geführt worden ist.
5    Mehrere Personen haben die ihnen gemeinsam auferlegten Gerichtskosten, wenn nichts anderes bestimmt ist, zu gleichen Teilen und unter solidarischer Haftung zu tragen.
et 4
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 66 Erhebung und Verteilung der Gerichtskosten - 1 Die Gerichtskosten werden in der Regel der unterliegenden Partei auferlegt. Wenn die Umstände es rechtfertigen, kann das Bundesgericht die Kosten anders verteilen oder darauf verzichten, Kosten zu erheben.
1    Die Gerichtskosten werden in der Regel der unterliegenden Partei auferlegt. Wenn die Umstände es rechtfertigen, kann das Bundesgericht die Kosten anders verteilen oder darauf verzichten, Kosten zu erheben.
2    Wird ein Fall durch Abstandserklärung oder Vergleich erledigt, so kann auf die Erhebung von Gerichtskosten ganz oder teilweise verzichtet werden.
3    Unnötige Kosten hat zu bezahlen, wer sie verursacht.
4    Dem Bund, den Kantonen und den Gemeinden sowie mit öffentlich-rechtlichen Aufgaben betrauten Organisationen dürfen in der Regel keine Gerichtskosten auferlegt werden, wenn sie in ihrem amtlichen Wirkungskreis, ohne dass es sich um ihr Vermögensinteresse handelt, das Bundesgericht in Anspruch nehmen oder wenn gegen ihre Entscheide in solchen Angelegenheiten Beschwerde geführt worden ist.
5    Mehrere Personen haben die ihnen gemeinsam auferlegten Gerichtskosten, wenn nichts anderes bestimmt ist, zu gleichen Teilen und unter solidarischer Haftung zu tragen.
LTF). Le recourant a droit à des dépens réduits, qui seront supportés par le canton de Genève dans la même proportion (art. 68 al. 1
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 68 Parteientschädigung - 1 Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
1    Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
2    Die unterliegende Partei wird in der Regel verpflichtet, der obsiegenden Partei nach Massgabe des Tarifs des Bundesgerichts alle durch den Rechtsstreit verursachten notwendigen Kosten zu ersetzen.
3    Bund, Kantonen und Gemeinden sowie mit öffentlich-rechtlichen Aufgaben betrauten Organisationen wird in der Regel keine Parteientschädigung zugesprochen, wenn sie in ihrem amtlichen Wirkungskreis obsiegen.
4    Artikel 66 Absätze 3 und 5 ist sinngemäss anwendbar.
5    Der Entscheid der Vorinstanz über die Parteientschädigung wird vom Bundesgericht je nach Ausgang des Verfahrens bestätigt, aufgehoben oder geändert. Dabei kann das Gericht die Entschädigung nach Massgabe des anwendbaren eidgenössischen oder kantonalen Tarifs selbst festsetzen oder die Festsetzung der Vorinstanz übertragen.
et 2
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 68 Parteientschädigung - 1 Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
1    Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
2    Die unterliegende Partei wird in der Regel verpflichtet, der obsiegenden Partei nach Massgabe des Tarifs des Bundesgerichts alle durch den Rechtsstreit verursachten notwendigen Kosten zu ersetzen.
3    Bund, Kantonen und Gemeinden sowie mit öffentlich-rechtlichen Aufgaben betrauten Organisationen wird in der Regel keine Parteientschädigung zugesprochen, wenn sie in ihrem amtlichen Wirkungskreis obsiegen.
4    Artikel 66 Absätze 3 und 5 ist sinngemäss anwendbar.
5    Der Entscheid der Vorinstanz über die Parteientschädigung wird vom Bundesgericht je nach Ausgang des Verfahrens bestätigt, aufgehoben oder geändert. Dabei kann das Gericht die Entschädigung nach Massgabe des anwendbaren eidgenössischen oder kantonalen Tarifs selbst festsetzen oder die Festsetzung der Vorinstanz übertragen.
LTF). Aucun dépens ne sera alloué à l'autorité intimée (art. 68 al. 3
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 68 Parteientschädigung - 1 Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
1    Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
2    Die unterliegende Partei wird in der Regel verpflichtet, der obsiegenden Partei nach Massgabe des Tarifs des Bundesgerichts alle durch den Rechtsstreit verursachten notwendigen Kosten zu ersetzen.
3    Bund, Kantonen und Gemeinden sowie mit öffentlich-rechtlichen Aufgaben betrauten Organisationen wird in der Regel keine Parteientschädigung zugesprochen, wenn sie in ihrem amtlichen Wirkungskreis obsiegen.
4    Artikel 66 Absätze 3 und 5 ist sinngemäss anwendbar.
5    Der Entscheid der Vorinstanz über die Parteientschädigung wird vom Bundesgericht je nach Ausgang des Verfahrens bestätigt, aufgehoben oder geändert. Dabei kann das Gericht die Entschädigung nach Massgabe des anwendbaren eidgenössischen oder kantonalen Tarifs selbst festsetzen oder die Festsetzung der Vorinstanz übertragen.
LTF).
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 67 Kosten der Vorinstanz - Wird der angefochtene Entscheid geändert, so kann das Bundesgericht die Kosten des vorangegangenen Verfahrens anders verteilen.
et 68 al. 5
SR 173.110 Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (Bundesgerichtsgesetz, BGG) - Bundesgerichtsgesetz
BGG Art. 68 Parteientschädigung - 1 Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
1    Das Bundesgericht bestimmt im Urteil, ob und in welchem Mass die Kosten der obsiegenden Partei von der unterliegenden zu ersetzen sind.
2    Die unterliegende Partei wird in der Regel verpflichtet, der obsiegenden Partei nach Massgabe des Tarifs des Bundesgerichts alle durch den Rechtsstreit verursachten notwendigen Kosten zu ersetzen.
3    Bund, Kantonen und Gemeinden sowie mit öffentlich-rechtlichen Aufgaben betrauten Organisationen wird in der Regel keine Parteientschädigung zugesprochen, wenn sie in ihrem amtlichen Wirkungskreis obsiegen.
4    Artikel 66 Absätze 3 und 5 ist sinngemäss anwendbar.
5    Der Entscheid der Vorinstanz über die Parteientschädigung wird vom Bundesgericht je nach Ausgang des Verfahrens bestätigt, aufgehoben oder geändert. Dabei kann das Gericht die Entschädigung nach Massgabe des anwendbaren eidgenössischen oder kantonalen Tarifs selbst festsetzen oder die Festsetzung der Vorinstanz übertragen.
LTF et renverra la cause à l'autorité précédente pour qu'elle statue à nouveau sur les frais et dépens de la procédure accomplie devant elle.

Par ces motifs, le Tribunal fédéral prononce :

1.
Le recours est partiellement admis en tant qu'il concerne l'impôt fédéral direct. L'arrêt attaqué est réformé en ce sens que le rappel d'impôt et l'amende pour soustraction d'impôt sont supprimés pour la période fiscale 2002 et que l'amende pour soustraction d'impôt est supprimée pour la période fiscale 2003. L'arrêt attaqué est confirmé pour le surplus.

2.
Le recours est partiellement admis en tant qu'il concerne l'impôt cantonal et communal. L'arrêt attaqué est réformé en ce sens que le rappel d'impôt et l'amende pour soustraction d'impôt sont supprimés pour la période fiscale 2002 et que l'amende pour soustraction d'impôt est supprimée pour la période fiscale 2003. L'arrêt attaqué est confirmé pour le surplus.

3.
Les frais judiciaires, arrêtés à 4'500 fr., sont mis à raison de 3'000 fr. à la charge du recourant et de 1'500 fr. à la charge du canton de Genève.

4.
Le canton de Genève versera au recourant une indemnité de dépens réduite fixée à 1'500 francs.

5.
La cause est renvoyée à la Cour de justice pour qu'elle statue à nouveau sur les frais et dépens de la procédure antérieure.

6.
Le présent arrêt est communiqué au recourant, à l'Administration fiscale cantonale genevoise, à la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, et à l'Administration fédérale des contributions.

Lausanne, le 17 septembre 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse

Le Juge présidant : Zünd

La Greffière : Vuadens