Bundesgericht
Tribunal fédéral
Tribunale federale
Tribunal federal

2C 85/2020

Arrêt du 6 octobre 2020

IIe Cour de droit public

Composition
MM. et Mme les Juges fédéraux Seiler, Président,
Aubry Girardin et Donzallaz.
Greffière : Mme Vuadens.

Participants à la procédure
A.________,
représenté par Maîtres Nicolas Merlino et Olivier Wehrli,
recourant,

contre

Administration fiscale cantonale du canton de Genève,
rue du Stand 26, 1204 Genève.

Objet
Demande de sûretés en matière d'Impôt fédéral direct et d'impôt cantonal et communal, périodes fiscales 2004 à 2014,

recours contre l'arrêt de la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, du 20 décembre 2019 (ATA/1851/2019).

Faits :

A.
A.________ est un ressortissant américain domicilié dans le canton de Genève depuis 1997. Le 9 septembre 2014, l'Administration fiscale du canton de Genève (ci-après: l'Administration cantonale) a ouvert à son encontre une procédure de rappel d'impôt et une procédure en soustraction d'impôt concernant l'impôt fédéral direct (IFD) et l'impôt cantonal et communal (ICC) des périodes fiscales 2004 à 2011. Le même jour, elle a ouvert à son endroit, dans le cadre de la procédure de taxation de la période fiscale 2012, une procédure pour tentative de soustraction d'impôt.
Le 20 décembre 2016, l'Administration cantonale a adressé à A.________ des bordereaux de rappels d'impôt et d'amendes pour les périodes fiscales 2004 à 2006. Elle en a fait de même, le 20 décembre 2017, pour la période fiscale 2007. La quotité des amendes a été fixée à 100% du montant de l'impôt soustrait. Les montants réclamés au titre des rappels d'impôt en matière d'IFD et d'ICC, d'intérêts moratoires et d'amendes représentaient un total de 10'875'541 fr. 45 pour les périodes fiscales 2004 à 2006 et de 4'868'885 fr. 35 pour la période fiscale 2007. L'intéressé a élevé des réclamations contre ces bordereaux.

B.

B.a. Le 8 octobre 2018, l'Administration cantonale a notifié à A.________ deux demandes de sûretés. Le contribuable n'avait pas déclaré la majeure partie de son revenu et de sa fortune durant plusieurs années. Il disposait de fortes attaches avec les États-Unis en raison de sa nationalité, du fait qu'une partie de sa famille y résidait et que sa société y exerçait une activité dans le commerce de pierres précieuses et d'objets d'art avec de nombreux clients américains. Sa fortune, considérable, se composait essentiellement de liquidités et de biens mobiliers, dont des oeuvres d'art entreposées aux Ports Francs, qui était très aisément transférables.
Les sûretés requises portaient sur des montants de respectivement 37'515'702 fr. 80 pour garantir le paiement de l'ICC 2004 à 2014 et de 3'028'724 fr., pour garantir le paiement l'IFD 2004 à 2014. Pour aboutir à ces montants, l'Administration cantonale est partie du montant des bordereaux de rappels d'impôt et d'amendes 2004 à 2007 déjà notifiés, dont la moyenne, arrondie à 4'000'000 fr., avait été utilisée pour évaluer les créances des périodes fiscales postérieures, créances qui avaient toutefois été réduites chaque année de 200'000 fr. pour tenir compte de la diminution du montant des intérêts moratoires. La répartition entre l'ICC et l'IFD avait été effectuée en appliquant une proportion moyenne pour les années 2004 à 2007.

B.b. Le 9 novembre 2018, après avoir demandé en vain à l'Administration cantonale la reconsidération de ses décisions du 8 octobre 2018, A.________ a recouru contre celles-ci auprès du Tribunal administratif de première instance du canton de Genève (ci-après: le Tribunal administratif), concluant à leur annulation. Par jugement du 13 mai 2019, le Tribunal administratif a rejeté les recours. Le 14 juin 2019, A.________ a déféré ce jugement auprès de la Cour de justice, Chambre administrative, du canton de Genève (ci-après: la Cour de justice).

B.c. Le 5 juillet 2019, l'Administration cantonale a statué sur la réclamation que le contribuable avait formée contre les bordereaux de rappels d'impôt et d'amendes IFD et ICC 2004 à 2006 du 20 décembre 2016. Se référant à un accord transactionnel qui avait été conclu avec le mandataire du contribuable le 1 er juillet 2019, l'Administration cantonale a modifié certaines reprises, réduit la quotité des amendes, qui s'élevait désormais à 48% du montant de l'impôt soustrait (au lieu de 100%), et supprimé les amendes 2004 et 2005, désormais prescrites. Sur ces bases, elle a adressé au contribuable, d'une part, de nouveaux bordereaux pour les périodes fiscales 2004 à 2006 et, d'autre part, des bordereaux de taxation pour les périodes fiscales 2012 à 2014. A.________ a recouru contre la décision sur réclamation du 5 juillet 2019 auprès du Tribunal administratif et a formé une réclamation contre les bordereaux 2012 à 2014 du même jour.

B.d. Par courrier du 18 octobre 2019 adressé à la Cour de justice dans le cadre de la procédure concernant les sûretés, l'Administration cantonale a récapitulé les créances fiscales estimées à cette date à l'encontre de A.________ pour l'ensemble des périodes fiscales 2004 à 2014.
S'agissant spécifiquement des périodes fiscales 2004 à 2006 et 2012 à 2014, elle a indiqué qu'au vu de l'attitude du contribuable, qui avait recouru contre la décision sur réclamation du 5 juillet 2019 alors même que celle-ci était le résultat d'un accord transactionnel du 1 er juillet 2019, elle avait l'intention, d'une part, de demander au Tribunal administratif la reformatio in pejus de cette décision et le rétablissement des bordereaux du 20 décembre 2016 (sous réserve des amendes 2004 et 2005 prescrites) et, d'autre part, de statuer in pejus dans les décisions qu'elle rendrait sur les réclamations que le contribuable avait formées contre les bordereaux de taxation 2012 à 2014. Pour la période fiscale 2007, les bordereaux du 20 décembre 2017 restaient valables (cf. supra consid. A). Pour les périodes fiscales 2008 à 2011, l'Administration cantonale se fondait désormais sur les bordereaux de rappels et d'amendes ICC et IFD qu'elle avait entre-temps notifiés au contribuable en date du 18 décembre 2018 pour la période fiscale 2008 (montant total des créances pour la période fiscale 2008: 3'335'968 fr.; arrêt attaqué p. 8) et en date du 15 février 2019 pour les périodes fiscales 2009 à 2011 (montants non spécifiés dans l'arrêt).
Il en résultait que la créance fiscale totale estimée pour les périodes fiscales 2004 à 2014 s'élevait désormais à 26'022'641 fr. 30 pour l'ICC et à 1'692'294 fr. 40 pour l'IFD (en lieu et place de respectivement 37'515'702 fr. 80 fr. et 3'028'724 fr. évalués initialement). L'Administration cantonale concluait par conséquent à la rectification des demandes de sûretés en ce sens.

B.e. Par arrêt du 20 décembre 2019, la Cour de justice a confirmé que les conditions prévues pour demander des sûretés étaient remplies, tant pour l'IFD que pour l'ICC. Au vu des indications fournies par l'Administration cantonale le 18 octobre 2019, elle a estimé que la créance fiscale totale de 40'544'699 fr. 25, qui avait été admise par le Tribunal administratif, n'était plus adéquate et qu'elle devait être réduite à 27'714'935 fr. 60. La Cour de justice a, partant, partiellement admis le recours de A.________, annulé le jugement du 13 mai 2019 du Tribunal administratif en tant qu'il fixait le montant total des sûretés à 40'544'699 fr. 25, dit que ce montant s'élevait à 27'714'935 fr. 60 et l'a confirmé pour le surplus.

C.
Agissant par la voie du recours en matière de droit public, A.________ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt du 20 décembre 2019 de la Cour de justice, les demandes de sûretés du 8 octobre 2018, les ordonnances de séquestre et les avis concernant l'exécution du séquestre; subsidiairement, d'annuler l'arrêt attaqué et de fixer le montant des sûretés à 0 fr.; plus subsidiairement, d'annuler l'arrêt attaqué et de fixer le montant des sûretés à 9'832'967 fr. et, encore plus subsidiairement, de renvoyer la cause à la Cour de justice pour nouvelle décision au sens des considérants.

La Cour de justice s'en tient à son arrêt. Dans sa réponse, l'Administration cantonale conclut au rejet du recours avec suite de frais. L'Administration fédérale des contributions se rallie à l'arrêt attaqué et aux observations de l'Administration cantonale. Le recourant a répliqué. L'Administration a dupliqué.

Considérant en droit :

1.

1.1. La présente procédure concerne des mesures de sûretés visant à garantir à titre provisoire le paiement d'impôts. Cette procédure est indépendante du fond, de sorte que, conformément à la jurisprudence (ATF 134 II 349 consid. 1.4 p. 351, rappelé in arrêt 2C 273/2019 du 16 septembre 2019 consid. 1.2), il s'agit d'une décision finale (art. 90
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 90 Décisions finales - Le recours est recevable contre les décisions qui mettent fin à la procédure.
LTF). Cette décision a par ailleurs été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 86 Autorités précédentes en général - 1 Le recours est recevable contre les décisions:
1    Le recours est recevable contre les décisions:
a  du Tribunal administratif fédéral;
b  du Tribunal pénal fédéral;
c  de l'Autorité indépendante d'examen des plaintes en matière de radio-télévision;
d  des autorités cantonales de dernière instance, pour autant que le recours devant le Tribunal administratif fédéral ne soit pas ouvert.
2    Les cantons instituent des tribunaux supérieurs qui statuent comme autorités précédant immédiatement le Tribunal fédéral, sauf dans les cas où une autre loi fédérale prévoit qu'une décision d'une autre autorité judiciaire peut faire l'objet d'un recours devant le Tribunal fédéral.
3    Pour les décisions revêtant un caractère politique prépondérant, les cantons peuvent instituer une autorité autre qu'un tribunal.
et al. 2 LTF) dans une cause de droit public (art. 82 let. a
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 82 Principe - Le Tribunal fédéral connaît des recours:
a  contre les décisions rendues dans des causes de droit public;
b  contre les actes normatifs cantonaux;
c  qui concernent le droit de vote des citoyens ainsi que les élections et votations populaires.
LTF) qui ne tombe pas sous le coup de l'une des exceptions de l'art. 83
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 83 Exceptions - Le recours est irrecevable contre:
a  les décisions concernant la sûreté intérieure ou extérieure du pays, la neutralité, la protection diplomatique et les autres affaires relevant des relations extérieures, à moins que le droit international ne confère un droit à ce que la cause soit58 jugée par un tribunal;
b  les décisions relatives à la naturalisation ordinaire;
c  les décisions en matière de droit des étrangers qui concernent:
c1  l'entrée en Suisse,
c2  une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit,
c3  l'admission provisoire,
c4  l'expulsion fondée sur l'art. 121, al. 2, de la Constitution ou le renvoi,
c5  les dérogations aux conditions d'admission,
c6  la prolongation d'une autorisation frontalière, le déplacement de la résidence dans un autre canton, le changement d'emploi du titulaire d'une autorisation frontalière et la délivrance de documents de voyage aux étrangers sans pièces de légitimation;
d  les décisions en matière d'asile qui ont été rendues:
d1  par le Tribunal administratif fédéral, sauf celles qui concernent des personnes visées par une demande d'extradition déposée par l'État dont ces personnes cherchent à se protéger,
d2  par une autorité cantonale précédente et dont l'objet porte sur une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit;
e  les décisions relatives au refus d'autoriser la poursuite pénale de membres d'autorités ou du personnel de la Confédération;
f  les décisions en matière de marchés publics:
fbis  les décisions du Tribunal administratif fédéral concernant les décisions visées à l'art. 32i de la loi fédérale du 20 mars 2009 sur le transport de voyageurs65;
f1  si elles ne soulèvent pas de question juridique de principe; sont réservés les recours concernant des marchés du Tribunal administratif fédéral, du Tribunal pénal fédéral, du Tribunal fédéral des brevets, du Ministère public de la Confédération et des autorités judiciaires supérieures des cantons, ou
f2  si la valeur estimée du marché à adjuger est inférieure à la valeur seuil déterminante visée à l'art. 52, al. 1, et fixée à l'annexe 4, ch. 2, de la loi fédérale du 21 juin 2019 sur les marchés publics63;
g  les décisions en matière de rapports de travail de droit public qui concernent une contestation non pécuniaire, sauf si elles touchent à la question de l'égalité des sexes;
h  les décisions en matière d'entraide administrative internationale, à l'exception de l'assistance administrative en matière fiscale;
i  les décisions en matière de service militaire, de service civil ou de service de protection civile;
j  les décisions en matière d'approvisionnement économique du pays qui sont prises en cas de pénurie grave;
k  les décisions en matière de subventions auxquelles la législation ne donne pas droit;
l  les décisions en matière de perception de droits de douane fondée sur le classement tarifaire ou le poids des marchandises;
m  les décisions sur l'octroi d'un sursis de paiement ou sur la remise de contributions; en dérogation à ce principe, le recours contre les décisions sur la remise de l'impôt fédéral direct ou de l'impôt cantonal ou communal sur le revenu et sur le bénéfice est recevable, lorsqu'une question juridique de principe se pose ou qu'il s'agit d'un cas particulièrement important pour d'autres motifs;
n  les décisions en matière d'énergie nucléaire qui concernent:
n1  l'exigence d'un permis d'exécution ou la modification d'une autorisation ou d'une décision,
n2  l'approbation d'un plan de provision pour les coûts d'évacuation encourus avant la désaffection d'une installation nucléaire,
n3  les permis d'exécution;
o  les décisions en matière de circulation routière qui concernent la réception par type de véhicules;
p  les décisions du Tribunal administratif fédéral en matière de télécommunications, de radio et de télévision et en matière postale qui concernent:70
p1  une concession ayant fait l'objet d'un appel d'offres public,
p2  un litige découlant de l'art. 11a de la loi du 30 avril 1997 sur les télécommunications71;
p3  un litige au sens de l'art. 8 de la loi du 17 décembre 2010 sur la poste73;
q  les décisions en matière de médecine de transplantation qui concernent:
q1  l'inscription sur la liste d'attente,
q2  l'attribution d'organes;
r  les décisions en matière d'assurance-maladie qui ont été rendues par le Tribunal administratif fédéral sur la base de l'art. 3474 de la loi du 17 juin 2005 sur le Tribunal administratif fédéral (LTAF)75;
s  les décisions en matière d'agriculture qui concernent:
s1  ...
s2  la délimitation de zones dans le cadre du cadastre de production;
t  les décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité obligatoire, de formation ultérieure ou d'exercice d'une profession;
u  les décisions relatives aux offres publiques d'acquisition (art. 125 à 141 de la loi du 19 juin 2015 sur l'infrastructure des marchés financiers79);
v  les décisions du Tribunal administratif fédéral en cas de divergences d'opinion entre des autorités en matière d'entraide judiciaire ou d'assistance administrative au niveau national;
w  les décisions en matière de droit de l'électricité qui concernent l'approbation des plans des installations électriques à courant fort et à courant faible et l'expropriation de droits nécessaires à la construction ou à l'exploitation de telles installations, si elles ne soulèvent pas de question juridique de principe.
x  les décisions en matière d'octroi de contributions de solidarité au sens de la loi fédérale du 30 septembre 2016 sur les mesures de coercition à des fins d'assistance et les placements extrafamiliaux antérieurs à 198183, sauf si la contestation soulève une question juridique de principe ou qu'il s'agit d'un cas particulièrement important pour d'autres motifs;
y  les décisions prises par le Tribunal administratif fédéral dans des procédures amiables visant à éviter une imposition non conforme à une convention internationale applicable dans le domaine fiscal;
z  les décisions citées à l'art. 71c, al. 1, let. b, de la loi du 30 septembre 2016 sur l'énergie86 concernant les autorisations de construire et les autorisations relevant de la compétence des cantons destinées aux installations éoliennes d'intérêt national qui y sont nécessairement liées, sauf si la contestation soulève une question juridique de principe.
LTF. La voie du recours en matière de droit public est donc ouverte.

1.2. Le recours a été déposé en temps utile (art. 46 al. 1 let. c
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 46 Suspension - 1 Les délais fixés en jours par la loi ou par le juge ne courent pas:
1    Les délais fixés en jours par la loi ou par le juge ne courent pas:
a  du septième jour avant Pâques au septième jour après Pâques inclus;
b  du 15 juillet au 15 août inclus;
c  du 18 décembre au 2 janvier inclus.
2    L'al. 1 ne s'applique pas:
a  aux procédures concernant l'octroi de l'effet suspensif ou d'autres mesures provisionnelles;
b  à la poursuite pour effets de change;
c  aux questions relatives aux droits politiques (art. 82, let. c);
d  à l'entraide pénale internationale ni à l'assistance administrative internationale en matière fiscale;
e  aux marchés publics.19
et 100 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 100 Recours contre une décision - 1 Le recours contre une décision doit être déposé devant le Tribunal fédéral dans les 30 jours qui suivent la notification de l'expédition complète.
1    Le recours contre une décision doit être déposé devant le Tribunal fédéral dans les 30 jours qui suivent la notification de l'expédition complète.
2    Le délai de recours est de dix jours contre:
a  les décisions d'une autorité cantonale de surveillance en matière de poursuite pour dettes et de faillite;
b  les décisions en matière d'entraide pénale internationale et d'assistance administrative internationale en matière fiscale;
c  les décisions portant sur le retour d'un enfant fondées sur la Convention européenne du 20 mai 1980 sur la reconnaissance et l'exécution des décisions en matière de garde des enfants et le rétablissement de la garde des enfants92 ou sur la Convention du 25 octobre 1980 sur les aspects civils de l'enlèvement international d'enfants93.
d  les décisions du Tribunal fédéral des brevets concernant l'octroi d'une licence visée à l'art. 40d de la loi du 25 juin 1954 sur les brevets95.
3    Le délai de recours est de cinq jours contre:
a  les décisions d'une autorité cantonale de surveillance en matière de poursuite pour effets de change;
b  les décisions d'un gouvernement cantonal sur recours concernant des votations fédérales.
4    Le délai de recours est de trois jours contre les décisions d'un gouvernement cantonal sur recours touchant aux élections au Conseil national.
5    En matière de recours pour conflit de compétence entre deux cantons, le délai de recours commence à courir au plus tard le jour où chaque canton a pris une décision pouvant faire l'objet d'un recours devant le Tribunal fédéral.
6    ...96
7    Le recours pour déni de justice ou retard injustifié peut être formé en tout temps.
LTF) et dans les formes requises (art. 42
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 42 Mémoires - 1 Les mémoires doivent être rédigés dans une langue officielle, indiquer les conclusions, les motifs et les moyens de preuve, et être signés.
1    Les mémoires doivent être rédigés dans une langue officielle, indiquer les conclusions, les motifs et les moyens de preuve, et être signés.
2    Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit. Si le recours n'est recevable que lorsqu'il soulève une question juridique de principe ou qu'il porte sur un cas particulièrement important pour d'autres motifs, il faut exposer en quoi l'affaire remplit la condition exigée.15 16
3    Les pièces invoquées comme moyens de preuve doivent être jointes au mémoire, pour autant qu'elles soient en mains de la partie; il en va de même de la décision attaquée si le mémoire est dirigé contre une décision.
4    En cas de transmission électronique, le mémoire doit être muni de la signature électronique qualifiée de la partie ou de son mandataire au sens de la loi du 18 mars 2016 sur la signature électronique17. Le Tribunal fédéral détermine dans un règlement:
a  le format du mémoire et des pièces jointes;
b  les modalités de la transmission;
c  les conditions auxquelles il peut exiger, en cas de problème technique, que des documents lui soient adressés ultérieurement sur papier.18
5    Si la signature de la partie ou de son mandataire, la procuration ou les annexes prescrites font défaut, ou si le mandataire n'est pas autorisé, le Tribunal fédéral impartit un délai approprié à la partie pour remédier à l'irrégularité et l'avertit qu'à défaut le mémoire ne sera pas pris en considération.
6    Si le mémoire est illisible, inconvenant, incompréhensible ou prolixe ou qu'il n'est pas rédigé dans une langue officielle, le Tribunal fédéral peut le renvoyer à son auteur; il impartit à celui-ci un délai approprié pour remédier à l'irrégularité et l'avertit qu'à défaut le mémoire ne sera pas pris en considération.
7    Le mémoire de recours introduit de manière procédurière ou à tout autre égard abusif est irrecevable.
LTF) par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (cf. art. 89 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 89 Qualité pour recourir - 1 A qualité pour former un recours en matière de droit public quiconque:
1    A qualité pour former un recours en matière de droit public quiconque:
a  a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire;
b  est particulièrement atteint par la décision ou l'acte normatif attaqué, et
c  a un intérêt digne de protection à son annulation ou à sa modification.
2    Ont aussi qualité pour recourir:
a  la Chancellerie fédérale, les départements fédéraux ou, pour autant que le droit fédéral le prévoie, les unités qui leur sont subordonnées, si l'acte attaqué est susceptible de violer la législation fédérale dans leur domaine d'attributions;
b  l'organe compétent de l'Assemblée fédérale en matière de rapports de travail du personnel de la Confédération;
c  les communes et les autres collectivités de droit public qui invoquent la violation de garanties qui leur sont reconnues par la constitution cantonale ou la Constitution fédérale;
d  les personnes, organisations et autorités auxquelles une autre loi fédérale accorde un droit de recours.
3    En matière de droits politiques (art. 82, let. c), quiconque a le droit de vote dans l'affaire en cause a qualité pour recourir.
LTF). Il convient donc d'entrer en matière, sous réserve de ce qui suit.

1.3. En raison de l'effet dévolutif du recours à la Cour de justice (ATF 136 II 101 consid. 1.2 p. 104), seul l'arrêt du 20 décembre 2019 de cette instance fait l'objet de la présente procédure. Par ailleurs, l'objet de la contestation porté devant le Tribunal fédéral est déterminé par l'arrêt attaqué et ne saurait s'étendre au-delà (ATF 142 I 155 consid. 4.4.2 p. 156). Il s'ensuit que les conclusions du recours tendant à l'annulation des demandes de sûretés de l'Administration cantonale, ainsi que celles qui concluent à l'annulation des ordonnances de séquestre et d'avis concernant l'exécution des séquestres, sont irrecevables.

2.

2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (art. 106 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 106 Application du droit - 1 Le Tribunal fédéral applique le droit d'office.
1    Le Tribunal fédéral applique le droit d'office.
2    Il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant.
LTF). Conformément à l'art. 106 al. 2
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 106 Application du droit - 1 Le Tribunal fédéral applique le droit d'office.
1    Le Tribunal fédéral applique le droit d'office.
2    Il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant.
LTF toutefois, il ne connaît de la violation des droits fondamentaux, ainsi que de celle de dispositions de droit cantonal et intercantonal, que si ce grief a été invoqué et motivé, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée. Les critiques de nature appellatoire sont irrecevables (ATF 146 IV 114 consid. 2.1 p. 118; 142 III 364 consid. 2.4 p. 368).

2.2. Qu'elles aient été prononcées en application du droit fédéral ou du droit cantonal, les mesures de sûretés fiscales constituent des mesures provisionnelles de droit public au sens de l'art. 98
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 98 Motifs de recours limités - Dans le cas des recours formés contre des décisions portant sur des mesures provisionnelles, seule peut être invoquée la violation des droits constitutionnels.
LTF (arrêts 2C 543/2018 du 30 octobre 2018 consid. 1.2 et les références; 2C 669/2016 du 8 décembre 2016 consid. 1.2.2).
En cas de recours contre des décisions portant sur des mesures provisionnelles, seule peut être invoquée, selon l'art. 98
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 98 Motifs de recours limités - Dans le cas des recours formés contre des décisions portant sur des mesures provisionnelles, seule peut être invoquée la violation des droits constitutionnels.
LTF, la violation des droits constitutionnels. S'agissant des sûretés fondées sur le droit cantonal, peut en particulier être soulevé l'arbitraire dans l'application du droit cantonal (ATF 134 II 349 consid. 3 p. 351). Le Tribunal fédéral n'examine les griefs d'ordre constitutionnels que s'ils ont été invoqués et motivés de manière conforme aux exigences de l'art. 106 al. 2
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 106 Application du droit - 1 Le Tribunal fédéral applique le droit d'office.
1    Le Tribunal fédéral applique le droit d'office.
2    Il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant.
LTF qui viennent d'être rappelées (cf. consid. 2.1).

3.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (art. 105 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 105 Faits déterminants - 1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente.
1    Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente.
2    Il peut rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95.
3    Lorsque la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents ou de l'assurance militaire, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente.99
LTF), sous réserve des cas prévus à l'art. 105 al. 2
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 105 Faits déterminants - 1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente.
1    Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente.
2    Il peut rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95.
3    Lorsque la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents ou de l'assurance militaire, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente.99
LTF. Selon l'art. 97 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 97 Établissement inexact des faits - 1 Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause.
1    Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause.
2    Si la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents ou de l'assurance militaire, le recours peut porter sur toute constatation incomplète ou erronée des faits.89
LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'art. 95
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 95 Droit suisse - Le recours peut être formé pour violation:
a  du droit fédéral;
b  du droit international;
c  de droits constitutionnels cantonaux;
d  de dispositions cantonales sur le droit de vote des citoyens ainsi que sur les élections et votations populaires;
e  du droit intercantonal.
LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 142 II 355 consid. 6 p. 358; 139 II 373 consid. 1.6 p. 377 s.). Conformément à l'art. 106 al. 2
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 106 Application du droit - 1 Le Tribunal fédéral applique le droit d'office.
1    Le Tribunal fédéral applique le droit d'office.
2    Il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant.
LTF, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (ATF 137 II 353 consid. 5.1 p. 356). Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF 141 IV 369 consid. 6.3 p. 375; 140 III 264 consid. 2.3 p. 266). En outre, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 99 - 1 Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
1    Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
2    Toute conclusion nouvelle est irrecevable.
LTF).

4.
Le recourant s'en prend partiellement aux constatations de fait de l'arrêt attaqué. Il se plaint de ce que la Cour de justice a tenu pour acquis qu'un accord transactionnel aurait été conclu avec l'Administration cantonale le 1 er juillet 2019 et qu'il ne l'aurait pas respecté, ce qui serait inexact et partant arbitraire.

4.1. En matière d'établissement des faits et d'appréciation des preuves, il y a arbitraire (art. 9
SR 101 Constitution fédérale de la Confédération suisse du 18 avril 1999
Cst. Art. 9 Protection contre l'arbitraire et protection de la bonne foi - Toute personne a le droit d'être traitée par les organes de l'État sans arbitraire et conformément aux règles de la bonne foi.
Cst.) si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. ATF 144 II 281 consid. 3.6.2 p. 287; 142 II 355 consid. 6 p. 358).

4.2. En l'occurrence, il ressort des faits constatés qu'un accord transactionnel a été conclu le 1 er juillet 2019 entre le mandataire du recourant et l'Administration cantonale. Cet accord a du reste déjà été mentionné dans la décision sur réclamation du 5 juillet 2019. Le recourant se limite à en contester l'existence, sans expliquer en quoi cet élément aurait une incidence sur le sort de la cause. Quoi qu'il en soit, l'Administration cantonale était de toute manière fondée, indépendamment de tout accord, à conclure à la reformatio in pejus de sa décision sur réclamation 2004 à 2006 dans le cadre de la procédure de recours initiée par le contribuable, et à envisager de statuer in pejus dans sa future décision sur réclamation concernant les périodes 2012-2014. Mal fondé, le grief est partant rejeté.

4.3. Les autres griefs que le recourant formule contre l'établissement des faits et l'appréciation des preuves relèvent en réalité de l'application du droit et seront partant traités sous cet angle ci-après.

Impôt fédéral direct

5.
Le litige porte sur des sûretés destinées à garantir le paiement de l'IFD et de l'ICC des périodes fiscale 2004 à 2014.

5.1. Les sûretés destinées à garantir l'impôt fédéral direct sont régies à l'art. 169
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 169 Sûretés - 1 Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
1    Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
2    Les sûretés doivent être fournies en argent, en titres sûrs et négociables ou sous la forme du cautionnement d'une banque.
3    Le contribuable peut s'opposer à la demande de sûretés en formant un recours devant la commission cantonale de recours dans un délai de 30 jours à compter de la notification. L'art. 146 est applicable.261
4    Le recours contre une demande de sûretés n'a pas d'effet suspensif.262
LIFD. Selon l'art. 169 al. 1
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 169 Sûretés - 1 Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
1    Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
2    Les sûretés doivent être fournies en argent, en titres sûrs et négociables ou sous la forme du cautionnement d'une banque.
3    Le contribuable peut s'opposer à la demande de sûretés en formant un recours devant la commission cantonale de recours dans un délai de 30 jours à compter de la notification. L'art. 146 est applicable.261
4    Le recours contre une demande de sûretés n'a pas d'effet suspensif.262
LIFD, si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
Selon la jurisprudence, pour qu'une demande de sûretés au sens de l'art. 169 al. 1
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 169 Sûretés - 1 Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
1    Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
2    Les sûretés doivent être fournies en argent, en titres sûrs et négociables ou sous la forme du cautionnement d'une banque.
3    Le contribuable peut s'opposer à la demande de sûretés en formant un recours devant la commission cantonale de recours dans un délai de 30 jours à compter de la notification. L'art. 146 est applicable.261
4    Le recours contre une demande de sûretés n'a pas d'effet suspensif.262
LIFD soit valable, il est nécessaire 1) que l'un des cas de séquestre mentionnés dans cette disposition soit réalisé, à savoir l'absence de domicile en Suisse ou le fait que les droits du fisc paraissent menacés, 2) que l'existence de la créance fiscale paraisse vraisemblable et 3) que le montant de la garantie exigée ne se révèle pas manifestement exagéré (arrêts 2C 414/2008 du 1 er octobre 2008 consid. 5 non publié in ATF 134 II 349, mais in RDAF 2008 II 489 et Pra 2009/65 p. 427; 2A.446/2006 du 9 mars 2007 consid. 4).
S'agissant de l'existence de la créance fiscale, le niveau de preuve exigé est celui de la simple vraisemblance. L'existence d'une créance fiscale se détermine sur la base d'un examen préjudiciel et prima facie de la situation (arrêts 2C 273/2019 du 16 septembre 2019 consid. 2.2.2 et les références; 2C 543/2018 du 30 octobre 2018 consid. 2.2, 2C 235/2013 du 26 octobre 2013 consid. 2.4 et les références). L'art. 169 al. 1
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 169 Sûretés - 1 Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
1    Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
2    Les sûretés doivent être fournies en argent, en titres sûrs et négociables ou sous la forme du cautionnement d'une banque.
3    Le contribuable peut s'opposer à la demande de sûretés en formant un recours devant la commission cantonale de recours dans un délai de 30 jours à compter de la notification. L'art. 146 est applicable.261
4    Le recours contre une demande de sûretés n'a pas d'effet suspensif.262
LIFD n'exige pas que les montants réclamés soient fixés définitivement (" même avant que le montant d'impôt ne soit fixé par une décision entrée en force "). Lorsque la créance n'est pas définitive, le montant présumé de l'impôt fait l'objet d'un examen sommaire (arrêts 2C 669/2016 du 8 décembre 2016 consid. 2.3.3; 2C 468/2011 du 22 décembre 2011 consid. 2.2.3). En tant que mesures provisionnelles, les sûretés peuvent être modifiées ou révoquées à tout moment selon l'évolution des circonstances (arrêt 2C 543/2018 du 30 octobre 2018 consid. 2.2). Elles n'ont par ailleurs aucune influence sur l'existence ou sur le montant de la créance fiscale et ne préjugent en rien de celle-ci (arrêts 2C 689/2019 du 15 août 2019 consid. 2.2.7 et les références, in RF 74/2019 p. 746, StE 2019 B 99.1 Nr. 17; 2C 543/2018 du 30
octobre 2018 consid. 2.2; 2C 669/2016 du 8 décembre 2016 consid. 2.3.2).

5.2. Lorsqu'il doit statuer sur un recours portant sur une demande de sûretés, le Tribunal fédéral limite son examen à un contrôle prima facie de la situation (arrêts 2C 273/2019 du 16 septembre 2019 consid. 2.2.2 et les nombreuses références; 2C 669/2016 du 8 décembre 2016 consid. 2.3.4).

5.3. En l'espèce, la Cour de justice a jugé que les conditions ouvrant le droit de requérir des sûretés pour garantir l'IFD des périodes fiscales 2004 à 2014 étaient remplies. Le recourant avait, durant près de dix ans, omis de déclarer un grand nombre d'éléments de fortune et de revenu, dont notamment, des oeuvres d'art, des parts détenues dans des sociétés américaines, les fonds propres de ses trusts et des distributions reçues de trusts, ainsi que des prestations appréciables en argent. Son patrimoine était par ailleurs pour l'essentiel aisément transférable. Même si, au vu des relations personnelles du recourant à Genève, le risque qu'il parte à l'étranger était peu probable, il avait des relations économiques étroites avec les États-Unis, par le biais notamment de trusts et de parts dans des structures immobilières américaines. Les droits du fisc paraissaient ainsi menacés. L'existence d'une importante créance fiscale à titre de rappel d'impôts, d'intérêts moratoires et d'amendes pour soustraction paraissait par ailleurs pour le moins vraisemblable. S'agissant du montant des créances IFD pour l'ensemble des périodes fiscales concernées, les indications fournies par l'Administration cantonale le 18 octobre 2019 montraient que
le montant de 3'028'724 fr. initialement estimé devait être réduit à 1'692'294 fr. 40. Ce montant paraissait plausible dans le cadre de l'examen superficiel qui prévalait à ce stade.

5.4. Le recourant ne conteste pas l'existence d'un des cas de séquestre mentionnés à l'art. 169 al. 1
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 169 Sûretés - 1 Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
1    Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
2    Les sûretés doivent être fournies en argent, en titres sûrs et négociables ou sous la forme du cautionnement d'une banque.
3    Le contribuable peut s'opposer à la demande de sûretés en formant un recours devant la commission cantonale de recours dans un délai de 30 jours à compter de la notification. L'art. 146 est applicable.261
4    Le recours contre une demande de sûretés n'a pas d'effet suspensif.262
LIFD, mais s'en prend au montant des sûretés retenu par la Cour de justice. Il soutient que ce montant a été fixé de manière arbitraire et qu'il est manifestement excessif.

5.5. A titre préalable, il convient de relever que la Cour de justice a déjà réduit le montant des sûretés en matière d'IFD, sur la base des indications fournies le 18 octobre 2019 par l'Administration cantonale. Il ressort implicitement de l'arrêt attaqué que cette réduction s'explique par le fait que, le 18 octobre 2019, l'Administration cantonale avait désormais à disposition, pour les périodes fiscales 2008 à 2014, des chiffres précis ressortant de décisions, alors que, le 8 octobre 2018, elle avait estimé les créances fiscales de ces périodes en partant de la moyenne arrondie des montants ressortant des décisions relatives aux périodes 2004 à 2007.

5.6. Une décision est arbitraire (art. 9
SR 101 Constitution fédérale de la Confédération suisse du 18 avril 1999
Cst. Art. 9 Protection contre l'arbitraire et protection de la bonne foi - Toute personne a le droit d'être traitée par les organes de l'État sans arbitraire et conformément aux règles de la bonne foi.
Cst.) lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (ATF 144 I 318 consid. 5.4 p. 326 s.). Lorsque le recourant se plaint d'arbitraire, il doit démontrer par une argumentation répondant aux exigences de l'art. 106 al. 2
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 106 Application du droit - 1 Le Tribunal fédéral applique le droit d'office.
1    Le Tribunal fédéral applique le droit d'office.
2    Il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant.
LTF que la décision entreprise se fonde sur une application de la loi ou une appréciation des preuves manifestement insoutenables (cf. ATF 145 II 32 consid. 5.1 p. 41; 133 II 396 consid. 3.2 p. 400).

5.6.1. Le recourant fait en premier lieu valoir que la Cour de justice a arbitrairement fait abstraction des décisions rendues par l'Administration cantonale le 5 juillet 2019 pour évaluer le montant des créances fiscales des périodes 2004, 2005, 2006 et 2012, 2013 et 2014.
Contrairement à ce que le recourant soutient, les juges précédents pouvaient, sans tomber dans l'arbitraire, se fonder sur les montants articulés par l'Administration cantonale le 18 octobre 2019 pour évaluer le montant des créances fiscales des périodes 2004 à 2006 et 2012 à 2014. En effet, la Cour de justice a, ce faisant, adapté le montant des sûretés à l'évolution des circonstances, conformément à la jurisprudence rappelée ci-dessus. La diminution, par les juges précédents, du montant des sûretés par rapport au montant retenu initialement le démontre du reste. Le fait que l'Administration cantonale ait manifesté son intention de demander la reformatio in pejus, ou de procéder in pejus, dans le cadre des procédures relatives aux périodes 2004 à 2006 et 2012 à 2014, était une circonstance nouvelle que la Cour de justice pouvait prendre en considération dans le cadre d'un examen sommaire et prima facie de la situation. C'est donc sans arbitraire qu'elle s'est fondée sur les créances évaluées " in pejus " pour évaluer les sûretés nécessaires pour garantir le paiement de l'impôt dû pour ces périodes fiscales.

5.6.2. Le recourant soutient aussi que le montant total des créances fiscales revendiquées à son encontre pour l'ensemble des périodes 2004 à 2014, tant pour l'IFD que pour l'ICC, s'élèverait à 9'832'967 fr. seulement. Il se réfère à cet égard au montant de 9'832'967 fr. qui figure dans l'une des décisions de taxation du 5 juillet 2019 (pièce 98 du bordereau produit devant la Cour de justice), qui refléterait l'ensemble des prétentions des autorités fiscales à son encontre pour l'ensemble des périodes litigieuses. La Cour de justice serait partant tombée dans l'arbitraire en omettant ce fait, respectivement en considérant que ce montant ne concernerait que les créances des périodes 2004 à 2006 et 2012 à 2014 telles qu'établies en date du 5 juillet 2019.
La pièce 98 est une copie de l'avis de taxation ICC 2014 du 5 juillet 2019. Ce document indique qu'un montant de 9'832'967 fr. a été admis en déduction de la fortune 2014 du recourant, au titre d'intérêts sur rappels d'impôt et dettes d'impôts.
On ignore toutefois, et le recourant ne l'indique pas, comment ce montant a été calculé et partant ce qu'il recouvre exactement. Le recourant ne démontre en particulier pas que ce montant correspondrait à la somme des créances fiscales revendiquées à son encontre pour l'ensemble des périodes 2004 à 2014 par l'Administration cantonale en date du 5 juillet 2019, tant pour l'ICC que pour l'IFD. Quoi qu'il en soit, les juges précédents pouvaient de toute manière se fonder sur les montants articulés par l'Administration cantonale le 18 octobre 2019 pour évaluer le montant des sûretés (supra consid. 5.6.1). C'est donc sans arbitraire que la Cour de justice a fait abstraction du montant de 9'832'967 fr. pour évaluer les sûretés exigibles du recourant, respectivement qu'il a considéré que ce montant correspondait seulement à la somme des prétentions pour les périodes 2004 à 2006 et 2012 à 2014 telles qu'elles existaient au 5 juillet 2019, et qu'elle ne s'est partant pas fondée sur ce montant pour évaluer les sûretés exigibles.

5.6.3. Le recourant fait ensuite valoir en vain que le montant des sûretés est manifestement excessif, parce qu'il ne prend pas en compte le fait qu'il pourrait retirer son recours contre la décision sur réclamation du 5 juillet 2019 au Tribunal administratif et ainsi mettre fin à l'instance. Il s'agit là en effet d'une simple hypothèse, qui du reste ne mettrait pas forcément fin à l'instance (sur les situations, exceptionnelles, dans lesquelles le retrait du recours ne met pas fin à l'instance, en lien avec une reformatio in pejus annoncée par l'autorité intimée, cf. ATF 144 IV 136 consid. 7 p. 145 ss et les références). Au demeurant, si le Tribunal administratif devait mettre fin à l'instance, le recourant pourrait obtenir une réévaluation des sûretés, si celles-ci devaient apparaître comme manifestement excessives au regard de cette nouvelle circonstance.

5.6.4. Le recourant fait finalement valoir que la créance fiscale à son encontre pour la période fiscale 2004 est prescrite depuis le 1 er janvier 2020.
Lorsqu'une créance fiscale est prescrite, elle n'est plus exigible, de sorte que des sûretés ne peuvent plus être requises pour la garantir. Dans un arrêt du 15 avril 1996, le Tribunal fédéral a ainsi examiné si la créance fiscale d'impôt fédéral direct, liée à la commission qu'un courtier immobilier domicilié à l'étranger était sur le point de recevoir en lien avec une opération immobilière, était prescrite. Parvenant à la conclusion que tel n'était pas le cas, le Tribunal fédéral a confirmé le droit de l'autorité fiscale de requérir des sûretés pour garantir l'IFD de la période fiscale concernée (arrêt 2A.508/1995 consid. 3c).
Lorsque des sûretés sont requises pour garantir le paiement de l'IFD de plusieurs périodes fiscales, le Tribunal fédéral doit examiner prima facie si, de manière globale, le montant total des sûretés est devenu manifestement excessif en raison de la prescription de créances fiscales. A cet effet, il doit comparer le montant de sûretés requis avec le montant diminué de la créance prescrite, et tenir compte également du fait que l'écoulement du temps a aussi pour effet d'augmenter le montant des intérêts moratoires dus pour les périodes fiscales non prescrites (cf., au sujet des intérêts moratoires, l'art. 3 de l'Ordonnance du 10 décembre 1992 sur l'échéance et les intérêts en matière d'impôt fédéral direct [RS 642.124] et son Annexe, mise à jour annuellement).
En l'occurrence, la prescription du droit de rappeler l'IFD de la période fiscale 2004 est acquise depuis le 1er janvier 2020 en vertu de l'art. 152 al. 3
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 152 Péremption - 1 Le droit d'introduire une procédure de rappel d'impôt s'éteint dix ans après la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou pour laquelle la taxation entrée en force était incomplète.
1    Le droit d'introduire une procédure de rappel d'impôt s'éteint dix ans après la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou pour laquelle la taxation entrée en force était incomplète.
2    L'introduction d'une procédure de poursuite pénale ensuite de soustraction d'impôt ou de délit fiscal entraîne également l'ouverture de la procédure de rappel d'impôt.
3    Le droit de procéder au rappel de l'impôt s'éteint 15 ans après la fin de la période fiscale à laquelle il se rapporte.
LIFD. Selon les indications fournies par l'Administration cantonale, au 18 octobre 2019, la créance fiscale IFD 2004 s'élevait à 96'946 fr. 60 (arrêt p. 13).
Diminuée de ce montant prescrit, la créance fiscale totale estimée pour l'IFD s'élève désormais, sur la base des chiffres au 18 octobre 2019, à 1'595'347 fr. 80 au lieu de 1'692'294 fr. 40 (1'692'294 fr. 40 - 96'946 fr. 60). Il s'agit d'une diminution marginale, qui ne tient en outre pas compte du fait que les intérêts moratoires dus sur les périodes non prescrites ont augmenté avec l'écoulement du temps. La prescription du droit de rappeler l'IFD 2004 n'a donc en l'espèce pas pour conséquence de faire apparaître le montant total des sûretés retenu par la Cour de justice comme manifestement excessif.

5.7. Il en découle que le recourant a échoué à démontrer que la Cour de justice aurait procédé arbitrairement en fixant le montant des sûretés IFD sur la base des indications de l'Administration cantonale du 18 octobre 2019. Celui-ci n'apparaît pas manifestement excessif et l'on ne discerne aucune violation de l'art. 169 al. 1
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 169 Sûretés - 1 Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
1    Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
2    Les sûretés doivent être fournies en argent, en titres sûrs et négociables ou sous la forme du cautionnement d'une banque.
3    Le contribuable peut s'opposer à la demande de sûretés en formant un recours devant la commission cantonale de recours dans un délai de 30 jours à compter de la notification. L'art. 146 est applicable.261
4    Le recours contre une demande de sûretés n'a pas d'effet suspensif.262
LIFD.

Impôt cantonal et communal

6.
L'art. 78
SR 642.14 Loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID)
LHID Art. 78 Séquestre - Les cantons peuvent disposer que les décisions de sûretés des autorités fiscales cantonales compétentes sont assimilées à des ordonnances de séquestre au sens de l'art. 274 de la loi fédérale du 11 avril 1889 sur la poursuite pour dettes et faillite (LP)261. Le séquestre est opéré par l'office des poursuite compétent. L'opposition à l'ordonnance du séquestre prévue à l'art. 278 LP est irrecevable.
LHID prévoit que les cantons peuvent disposer que les décisions de sûretés des autorités fiscales cantonales compétentes sont assimilées à des ordonnances de séquestre au sens de l'art. 274
SR 642.14 Loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID)
LHID Art. 78 Séquestre - Les cantons peuvent disposer que les décisions de sûretés des autorités fiscales cantonales compétentes sont assimilées à des ordonnances de séquestre au sens de l'art. 274 de la loi fédérale du 11 avril 1889 sur la poursuite pour dettes et faillite (LP)261. Le séquestre est opéré par l'office des poursuite compétent. L'opposition à l'ordonnance du séquestre prévue à l'art. 278 LP est irrecevable.
de la loi fédérale du 11 avril 1889 sur la poursuite pour dettes et faillites.
La LHID ne prévoit donc pas de règle d'harmonisation contraignante pour les cantons en matière de sûretés.

6.1. Selon l'art. 38 al. 1 de la loi cantonale genevoise du 26 juin 2008 relative à la perception et aux garanties des impôts des personnes physiques et des personnes morales (LPGIP; RS/GE D 3 18), applicable aux sûretés litigieuses des périodes fiscales 2009 à 2014, si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, le département peut exiger des sûretés en tout temps et même avant que le montant de l'impôt ne soit fixé par une décision entrée en force; la demande de sûretés, sommairement motivée, indique le montant à garantir (...).
Les sûretés requises en lien avec les créances des périodes fiscales 2004 à 2008 sont régies par l'ancien art. 371A de la loi générale du 9 novembre 1887 sur les contributions publiques (LCP; D 3 05). Cette disposition prévoyait que si le contribuable n'avait pas de domicile en Suisse ou que les droits du fisc paraissaient menacés, le département pouvait exiger des sûretés en tout temps et même avant que le montant de l'impôt ne soit fixé par une décision en force. La demande de sûretés indiquait le montant à garantir et elle était immédiatement exécutoire.
Tant l'art. 38 al. 1 let. b LPGIP que l'ancien art. 371A al. 1 let. b LCP reprennent les termes de l'art. 169 al. 1
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 169 Sûretés - 1 Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
1    Si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés, l'administration cantonale de l'impôt fédéral direct peut exiger des sûretés en tout temps, et même avant que le montant d'impôt ne soit fixé par une décision entrée en force. La demande de sûretés indique le montant à garantir; elle est immédiatement exécutoire. Dans la procédure de poursuite, elle produit les mêmes effets qu'un jugement exécutoire.
2    Les sûretés doivent être fournies en argent, en titres sûrs et négociables ou sous la forme du cautionnement d'une banque.
3    Le contribuable peut s'opposer à la demande de sûretés en formant un recours devant la commission cantonale de recours dans un délai de 30 jours à compter de la notification. L'art. 146 est applicable.261
4    Le recours contre une demande de sûretés n'a pas d'effet suspensif.262
LIFD, si bien que les principes exposés en matière d'IFD ont également vocation à s'appliquer à l'ICC (cf. arrêt 2C 414/2008 consid. 5 non publié in ATF 134 II 349, mais in RDAF 2008 II 489 et Pra 2009/65 p. 427; cf. également arrêt 2C 669/2016 du 8 décembre 2016 consid. 4.2).

6.2. En l'espèce, la Cour de justice a réduit le montant des sûretés pour l'ICC des périodes fiscales 2004 à 2014 par rapport à ce qu'avait retenu le Tribunal administratif, puisque, de 37'515'702 fr. 80, elles ont été réduites à 26'022'641 fr.30. Pour aboutir à ce montant, la Cour de justice s'est fondée sur les indications que lui a fournies l'Administration cantonale le 18 octobre 2019.

6.3. Comme le recourant formule les mêmes griefs d'arbitraire à l'encontre de l'arrêt attaqué, pour ce qui concerne I'ICC, que ceux qu'il a formulés pour l'IFD, il peut être renvoyé à ce qui a été dit ci-dessus en matière d'IFD.
Il y a lieu de préciser que la prescription du droit de rappeler l'ICC 2004 n'a pas pour effet de rendre le montant total des sûretés de 26'022'641 fr.30 manifestement excessif. En effet, la créance a été évaluée à 1'516'995 fr. 30 le 18 octobre 2019 (arrêt attaqué p. 13). Diminuées de ce montant, les sûretés représenteraient désormais un total de 24'505'646 fr (26'022'641 fr.30 - 1'516'995 fr. 30). Il s'agit d'une diminution limitée au regard des montants en jeu, qui ne tient en outre pas compte du fait que les intérêts moratoires dus sur les périodes non prescrites ont augmenté avec l'écoulement du temps. Il apparaît ainsi que la prescription du droit de rappeler l'ICC 2004 n'a en l'espèce pas pour conséquence de faire apparaître le montant total des sûretés retenu par la Cour de justice comme manifestement excessif et partant arbitraire.
Il s'ensuit que les griefs d'application arbitraire du droit cantonal sont également rejetés s'agissant des sûretés cantonales litigieuses.

Conséquences, frais et dépens

7.
Ce qui précède conduit au rejet du recours dans la mesure de sa recevabilité, tant s'agissant de l'IFD que de l'ICC.
Succombant, le recourant supportera les frais judiciaires (art. 66 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 66 Recouvrement des frais judiciaires - 1 En règle générale, les frais judiciaires sont mis à la charge de la partie qui succombe. Si les circonstances le justifient, le Tribunal fédéral peut les répartir autrement ou renoncer à les mettre à la charge des parties.
1    En règle générale, les frais judiciaires sont mis à la charge de la partie qui succombe. Si les circonstances le justifient, le Tribunal fédéral peut les répartir autrement ou renoncer à les mettre à la charge des parties.
2    Si une affaire est liquidée par un désistement ou une transaction, les frais judiciaires peuvent être réduits ou remis.
3    Les frais causés inutilement sont supportés par celui qui les a engendrés.
4    En règle générale, la Confédération, les cantons, les communes et les organisations chargées de tâches de droit public ne peuvent se voir imposer de frais judiciaires s'ils s'adressent au Tribunal fédéral dans l'exercice de leurs attributions officielles sans que leur intérêt patrimonial soit en cause ou si leurs décisions font l'objet d'un recours.
5    Sauf disposition contraire, les frais judiciaires mis conjointement à la charge de plusieurs personnes sont supportés par elles à parts égales et solidairement.
LTF). Il n'est pas alloué de dépens (art. 68 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 68 Dépens - 1 Le Tribunal fédéral décide, dans son arrêt, si et dans quelle mesure les frais de la partie qui obtient gain de cause sont supportés par celle qui succombe.
1    Le Tribunal fédéral décide, dans son arrêt, si et dans quelle mesure les frais de la partie qui obtient gain de cause sont supportés par celle qui succombe.
2    En règle générale, la partie qui succombe est tenue de rembourser à la partie qui a obtenu gain de cause, selon le tarif du Tribunal fédéral, tous les frais nécessaires causés par le litige.
3    En règle générale, aucuns dépens ne sont alloués à la Confédération, aux cantons, aux communes ou aux organisations chargées de tâches de droit public lorsqu'ils obtiennent gain de cause dans l'exercice de leurs attributions officielles.
4    L'art. 66, al. 3 et 5, est applicable par analogie.
5    Le Tribunal fédéral confirme, annule ou modifie, selon le sort de la cause, la décision de l'autorité précédente sur les dépens. Il peut fixer lui-même les dépens d'après le tarif fédéral ou cantonal applicable ou laisser à l'autorité précédente le soin de les fixer.
et 3
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 68 Dépens - 1 Le Tribunal fédéral décide, dans son arrêt, si et dans quelle mesure les frais de la partie qui obtient gain de cause sont supportés par celle qui succombe.
1    Le Tribunal fédéral décide, dans son arrêt, si et dans quelle mesure les frais de la partie qui obtient gain de cause sont supportés par celle qui succombe.
2    En règle générale, la partie qui succombe est tenue de rembourser à la partie qui a obtenu gain de cause, selon le tarif du Tribunal fédéral, tous les frais nécessaires causés par le litige.
3    En règle générale, aucuns dépens ne sont alloués à la Confédération, aux cantons, aux communes ou aux organisations chargées de tâches de droit public lorsqu'ils obtiennent gain de cause dans l'exercice de leurs attributions officielles.
4    L'art. 66, al. 3 et 5, est applicable par analogie.
5    Le Tribunal fédéral confirme, annule ou modifie, selon le sort de la cause, la décision de l'autorité précédente sur les dépens. Il peut fixer lui-même les dépens d'après le tarif fédéral ou cantonal applicable ou laisser à l'autorité précédente le soin de les fixer.
LTF).

Par ces motifs, le Tribunal fédéral prononce :

1.
Le recours est rejeté dans la mesure de sa recevabilité s'agissant de l'impôt fédéral direct.

2.
Le recours est rejeté dans la mesure de sa recevabilité s'agissant de l'impôt cantonal et communal.

3.
Les frais judiciaires, arrêtés à 32'500 fr., sont mis à la charge du recourant.

4.
Le présent arrêt est communiqué aux mandataires du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, et à l'Administration fédérale des contributions.

Lausanne, le 6 octobre 2020

Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse

Le Président : Seiler

La Greffière : Vuadens