Bundesgericht
Tribunal fédéral
Tribunale federale
Tribunal federal

2C 82/2017

2C 83/2017

Arrêt du 21 juin 2017

IIe Cour de droit public

Composition
MM. et Mme les Juges fédéraux Seiler, Président,
Zünd, Aubry Girardin, Donzallaz et Stadelmann.
Greffier: M. Tissot-Daguette.

Participants à la procédure
X.________,
représenté par Me Bertrand Pariat, avocat,
recourant,

contre

Service cantonal des contributions du canton du Valais.

Objet
2C 82/2017
Impôts cantonal et communal 2013,

2C 83/2017
Impôt fédéral direct 2013,

recours contre la décision de la Commission cantonale de recours en matière fiscale du canton
du Valais du 14 septembre 2016.

Faits :

A.
X.________ a vécu en concubinage durant plusieurs années. Par acte notarié du 13 mai 1998, la concubine de l'intéressé a acquis la pleine propriété de la moitié d'un immeuble à Genève et la nue-propriété de la seconde moitié. Dans le même acte, X.________ a été constitué usufruitier de cette seconde moitié. Les concubins ont financé chacun à moitié l'achat de l'immeuble. Par acte authentique du 2 septembre 2013, à la suite de leur séparation, ils ont fait radier la servitude d'usufruit grevant la moitié de l'immeuble. X.________ a reçu de son ex-concubine une indemnité de 703'000 fr. en compensation.

B.
Le 26 mars 2014, X.________ a déposé sa déclaration d'impôt pour les impôts cantonal et communal (ci-après: ICC) et pour l'impôt fédéral direct (ci-après: IFD) de l'année fiscale 2013, année à la fin de laquelle il était domicilié en Valais. Le 9 avril 2015, le Service cantonal des contributions du canton du Valais (ci-après: le Service des contributions) a taxé l'intéressé en ajoutant l'indemnité de 703'000 fr. aux autres revenus imposables de celui-ci pour l'année en cause. X.________ a élevé réclamation contre cette décision. A la suite d'une nouvelle décision de taxation du 21 mai 2015, par laquelle le taux d'imposition a été modifié, le contribuable a élevé une nouvelle réclamation. La décision du 21 mai 2015 a été confirmée par le Service des contributions le 25 juin 2015. X.________ a interjeté recours contre cette décision sur réclamation le 16 juillet 2015 auprès de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours). Cette autorité, par décision du 14 septembre 2016, a rejeté le recours, confirmant l'imposition de l'indemnité de 703'000 fr. au titre de l'impôt sur le revenu.

C.
Agissant par la voie du recours en matière de droit public, X.________ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler la décision de la Commission de recours du 14 septembre 2016 et de renvoyer la cause à cette autorité pour qu'elle rende une nouvelle décision dans le sens des considérants. Il se plaint d'établissement inexact des faits et de violations du droit fédéral.
Par ordonnance du 8 février 2017, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif.
La Commission de recours, le Service des contributions et l'Administration fédérale des contributions concluent tous trois au rejet du recours. Dans des observations finales, X.________ a confirmé ses conclusions.

Considérant en droit :

1.
La Commission de recours a rendu une seule décision valant tant pour l'impôt fédéral direct que pour les impôts cantonal et communal (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers. Comme l'état de fait est identique, les deux causes seront jointes et il sera statué dans un seul arrêt (art. 71
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 71 - Lorsque la présente loi ne contient pas de dispositions de procédure, les dispositions de la PCF31 sont applicables par analogie.
LTF et 24 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).

2.
Le recours est dirigé contre une décision finale (art. 90
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 90 Décisions finales - Le recours est recevable contre les décisions qui mettent fin à la procédure.
LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 86 Autorités précédentes en général - 1 Le recours est recevable contre les décisions:
1    Le recours est recevable contre les décisions:
a  du Tribunal administratif fédéral;
b  du Tribunal pénal fédéral;
c  de l'Autorité indépendante d'examen des plaintes en matière de radio-télévision;
d  des autorités cantonales de dernière instance, pour autant que le recours devant le Tribunal administratif fédéral ne soit pas ouvert.
2    Les cantons instituent des tribunaux supérieurs qui statuent comme autorités précédant immédiatement le Tribunal fédéral, sauf dans les cas où une autre loi fédérale prévoit qu'une décision d'une autre autorité judiciaire peut faire l'objet d'un recours devant le Tribunal fédéral.
3    Pour les décisions revêtant un caractère politique prépondérant, les cantons peuvent instituer une autorité autre qu'un tribunal.
et al. 2 LTF) dans une cause de droit public (art. 82 let. a
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 82 Principe - Le Tribunal fédéral connaît des recours:
a  contre les décisions rendues dans des causes de droit public;
b  contre les actes normatifs cantonaux;
c  qui concernent le droit de vote des citoyens ainsi que les élections et votations populaires.
LTF) ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 83 Exceptions - Le recours est irrecevable contre:
a  les décisions concernant la sûreté intérieure ou extérieure du pays, la neutralité, la protection diplomatique et les autres affaires relevant des relations extérieures, à moins que le droit international ne confère un droit à ce que la cause soit58 jugée par un tribunal;
b  les décisions relatives à la naturalisation ordinaire;
c  les décisions en matière de droit des étrangers qui concernent:
c1  l'entrée en Suisse,
c2  une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit,
c3  l'admission provisoire,
c4  l'expulsion fondée sur l'art. 121, al. 2, de la Constitution ou le renvoi,
c5  les dérogations aux conditions d'admission,
c6  la prolongation d'une autorisation frontalière, le déplacement de la résidence dans un autre canton, le changement d'emploi du titulaire d'une autorisation frontalière et la délivrance de documents de voyage aux étrangers sans pièces de légitimation;
d  les décisions en matière d'asile qui ont été rendues:
d1  par le Tribunal administratif fédéral, sauf celles qui concernent des personnes visées par une demande d'extradition déposée par l'État dont ces personnes cherchent à se protéger,
d2  par une autorité cantonale précédente et dont l'objet porte sur une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit;
e  les décisions relatives au refus d'autoriser la poursuite pénale de membres d'autorités ou du personnel de la Confédération;
f  les décisions en matière de marchés publics:
fbis  les décisions du Tribunal administratif fédéral concernant les décisions visées à l'art. 32i de la loi fédérale du 20 mars 2009 sur le transport de voyageurs65;
f1  si elles ne soulèvent pas de question juridique de principe; sont réservés les recours concernant des marchés du Tribunal administratif fédéral, du Tribunal pénal fédéral, du Tribunal fédéral des brevets, du Ministère public de la Confédération et des autorités judiciaires supérieures des cantons, ou
f2  si la valeur estimée du marché à adjuger est inférieure à la valeur seuil déterminante visée à l'art. 52, al. 1, et fixée à l'annexe 4, ch. 2, de la loi fédérale du 21 juin 2019 sur les marchés publics63;
g  les décisions en matière de rapports de travail de droit public qui concernent une contestation non pécuniaire, sauf si elles touchent à la question de l'égalité des sexes;
h  les décisions en matière d'entraide administrative internationale, à l'exception de l'assistance administrative en matière fiscale;
i  les décisions en matière de service militaire, de service civil ou de service de protection civile;
j  les décisions en matière d'approvisionnement économique du pays qui sont prises en cas de pénurie grave;
k  les décisions en matière de subventions auxquelles la législation ne donne pas droit;
l  les décisions en matière de perception de droits de douane fondée sur le classement tarifaire ou le poids des marchandises;
m  les décisions sur l'octroi d'un sursis de paiement ou sur la remise de contributions; en dérogation à ce principe, le recours contre les décisions sur la remise de l'impôt fédéral direct ou de l'impôt cantonal ou communal sur le revenu et sur le bénéfice est recevable, lorsqu'une question juridique de principe se pose ou qu'il s'agit d'un cas particulièrement important pour d'autres motifs;
n  les décisions en matière d'énergie nucléaire qui concernent:
n1  l'exigence d'un permis d'exécution ou la modification d'une autorisation ou d'une décision,
n2  l'approbation d'un plan de provision pour les coûts d'évacuation encourus avant la désaffection d'une installation nucléaire,
n3  les permis d'exécution;
o  les décisions en matière de circulation routière qui concernent la réception par type de véhicules;
p  les décisions du Tribunal administratif fédéral en matière de télécommunications, de radio et de télévision et en matière postale qui concernent:70
p1  une concession ayant fait l'objet d'un appel d'offres public,
p2  un litige découlant de l'art. 11a de la loi du 30 avril 1997 sur les télécommunications71;
p3  un litige au sens de l'art. 8 de la loi du 17 décembre 2010 sur la poste73;
q  les décisions en matière de médecine de transplantation qui concernent:
q1  l'inscription sur la liste d'attente,
q2  l'attribution d'organes;
r  les décisions en matière d'assurance-maladie qui ont été rendues par le Tribunal administratif fédéral sur la base de l'art. 3474 de la loi du 17 juin 2005 sur le Tribunal administratif fédéral (LTAF)75;
s  les décisions en matière d'agriculture qui concernent:
s1  ...
s2  la délimitation de zones dans le cadre du cadastre de production;
t  les décisions sur le résultat d'examens ou d'autres évaluations des capacités, notamment en matière de scolarité obligatoire, de formation ultérieure ou d'exercice d'une profession;
u  les décisions relatives aux offres publiques d'acquisition (art. 125 à 141 de la loi du 19 juin 2015 sur l'infrastructure des marchés financiers79);
v  les décisions du Tribunal administratif fédéral en cas de divergences d'opinion entre des autorités en matière d'entraide judiciaire ou d'assistance administrative au niveau national;
w  les décisions en matière de droit de l'électricité qui concernent l'approbation des plans des installations électriques à courant fort et à courant faible et l'expropriation de droits nécessaires à la construction ou à l'exploitation de telles installations, si elles ne soulèvent pas de question juridique de principe.
x  les décisions en matière d'octroi de contributions de solidarité au sens de la loi fédérale du 30 septembre 2016 sur les mesures de coercition à des fins d'assistance et les placements extrafamiliaux antérieurs à 198183, sauf si la contestation soulève une question juridique de principe ou qu'il s'agit d'un cas particulièrement important pour d'autres motifs;
y  les décisions prises par le Tribunal administratif fédéral dans des procédures amiables visant à éviter une imposition non conforme à une convention internationale applicable dans le domaine fiscal;
z  les décisions citées à l'art. 71c, al. 1, let. b, de la loi du 30 septembre 2016 sur l'énergie86 concernant les autorisations de construire et les autorisations relevant de la compétence des cantons destinées aux installations éoliennes d'intérêt national qui y sont nécessairement liées, sauf si la contestation soulève une question juridique de principe.
LTF. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. art. 146
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 146 - La décision de la dernière instance cantonale peut faire l'objet d'un recours devant le Tribunal fédéral dans les limites de la loi du 17 juin 2005 sur le Tribunal fédéral241. L'administration cantonale de l'impôt fédéral direct a également qualité pour recourir dans les causes de droit public.
LIFD [RS 642.11], art. 73 al. 1
SR 642.14 Loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID)
LHID Art. 73 Recours - 1 Les décisions cantonales de dernière instance portant sur une matière réglée dans les titres 2 à 5 et 6, chap. 1, ou sur la remise de l'impôt cantonal ou communal sur le revenu et sur le bénéfice peuvent faire l'objet d'un recours en matière de droit public devant le Tribunal fédéral conformément à la loi du 17 juin 2005 sur le Tribunal fédéral254.255
1    Les décisions cantonales de dernière instance portant sur une matière réglée dans les titres 2 à 5 et 6, chap. 1, ou sur la remise de l'impôt cantonal ou communal sur le revenu et sur le bénéfice peuvent faire l'objet d'un recours en matière de droit public devant le Tribunal fédéral conformément à la loi du 17 juin 2005 sur le Tribunal fédéral254.255
2    Le contribuable, l'administration fiscale cantonale et l'Administration fédérale des contributions ont le droit de recourir.
3    ...256
de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; ATF 134 II 186 consid. 1.3 p. 188 s.). Le recours a en outre été déposé en temps utile (art. 100 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 100 Recours contre une décision - 1 Le recours contre une décision doit être déposé devant le Tribunal fédéral dans les 30 jours qui suivent la notification de l'expédition complète.
1    Le recours contre une décision doit être déposé devant le Tribunal fédéral dans les 30 jours qui suivent la notification de l'expédition complète.
2    Le délai de recours est de dix jours contre:
a  les décisions d'une autorité cantonale de surveillance en matière de poursuite pour dettes et de faillite;
b  les décisions en matière d'entraide pénale internationale et d'assistance administrative internationale en matière fiscale;
c  les décisions portant sur le retour d'un enfant fondées sur la Convention européenne du 20 mai 1980 sur la reconnaissance et l'exécution des décisions en matière de garde des enfants et le rétablissement de la garde des enfants92 ou sur la Convention du 25 octobre 1980 sur les aspects civils de l'enlèvement international d'enfants93.
d  les décisions du Tribunal fédéral des brevets concernant l'octroi d'une licence visée à l'art. 40d de la loi du 25 juin 1954 sur les brevets95.
3    Le délai de recours est de cinq jours contre:
a  les décisions d'une autorité cantonale de surveillance en matière de poursuite pour effets de change;
b  les décisions d'un gouvernement cantonal sur recours concernant des votations fédérales.
4    Le délai de recours est de trois jours contre les décisions d'un gouvernement cantonal sur recours touchant aux élections au Conseil national.
5    En matière de recours pour conflit de compétence entre deux cantons, le délai de recours commence à courir au plus tard le jour où chaque canton a pris une décision pouvant faire l'objet d'un recours devant le Tribunal fédéral.
6    ...96
7    Le recours pour déni de justice ou retard injustifié peut être formé en tout temps.
LTF) et dans les formes requises (art. 42
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 42 Mémoires - 1 Les mémoires doivent être rédigés dans une langue officielle, indiquer les conclusions, les motifs et les moyens de preuve, et être signés.
1    Les mémoires doivent être rédigés dans une langue officielle, indiquer les conclusions, les motifs et les moyens de preuve, et être signés.
2    Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit. Si le recours n'est recevable que lorsqu'il soulève une question juridique de principe ou qu'il porte sur un cas particulièrement important pour d'autres motifs, il faut exposer en quoi l'affaire remplit la condition exigée.15 16
3    Les pièces invoquées comme moyens de preuve doivent être jointes au mémoire, pour autant qu'elles soient en mains de la partie; il en va de même de la décision attaquée si le mémoire est dirigé contre une décision.
4    En cas de transmission électronique, le mémoire doit être muni de la signature électronique qualifiée de la partie ou de son mandataire au sens de la loi du 18 mars 2016 sur la signature électronique17. Le Tribunal fédéral détermine dans un règlement:
a  le format du mémoire et des pièces jointes;
b  les modalités de la transmission;
c  les conditions auxquelles il peut exiger, en cas de problème technique, que des documents lui soient adressés ultérieurement sur papier.18
5    Si la signature de la partie ou de son mandataire, la procuration ou les annexes prescrites font défaut, ou si le mandataire n'est pas autorisé, le Tribunal fédéral impartit un délai approprié à la partie pour remédier à l'irrégularité et l'avertit qu'à défaut le mémoire ne sera pas pris en considération.
6    Si le mémoire est illisible, inconvenant, incompréhensible ou prolixe ou qu'il n'est pas rédigé dans une langue officielle, le Tribunal fédéral peut le renvoyer à son auteur; il impartit à celui-ci un délai approprié pour remédier à l'irrégularité et l'avertit qu'à défaut le mémoire ne sera pas pris en considération.
7    Le mémoire de recours introduit de manière procédurière ou à tout autre égard abusif est irrecevable.
LTF) par le contribuable destinataire de l'acte attaqué (art. 89 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 89 Qualité pour recourir - 1 A qualité pour former un recours en matière de droit public quiconque:
1    A qualité pour former un recours en matière de droit public quiconque:
a  a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire;
b  est particulièrement atteint par la décision ou l'acte normatif attaqué, et
c  a un intérêt digne de protection à son annulation ou à sa modification.
2    Ont aussi qualité pour recourir:
a  la Chancellerie fédérale, les départements fédéraux ou, pour autant que le droit fédéral le prévoie, les unités qui leur sont subordonnées, si l'acte attaqué est susceptible de violer la législation fédérale dans leur domaine d'attributions;
b  l'organe compétent de l'Assemblée fédérale en matière de rapports de travail du personnel de la Confédération;
c  les communes et les autres collectivités de droit public qui invoquent la violation de garanties qui leur sont reconnues par la constitution cantonale ou la Constitution fédérale;
d  les personnes, organisations et autorités auxquelles une autre loi fédérale accorde un droit de recours.
3    En matière de droits politiques (art. 82, let. c), quiconque a le droit de vote dans l'affaire en cause a qualité pour recourir.
LTF), de sorte qu'il convient d'entrer en matière.

3.
Sans toutefois citer l'art. 97 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 97 Établissement inexact des faits - 1 Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause.
1    Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause.
2    Si la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents ou de l'assurance militaire, le recours peut porter sur toute constatation incomplète ou erronée des faits.89
LTF, le recourant se plaint en premier lieu d'établissement inexact des faits.

3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 95 Droit suisse - Le recours peut être formé pour violation:
a  du droit fédéral;
b  du droit international;
c  de droits constitutionnels cantonaux;
d  de dispositions cantonales sur le droit de vote des citoyens ainsi que sur les élections et votations populaires;
e  du droit intercantonal.
et 106 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 106 Application du droit - 1 Le Tribunal fédéral applique le droit d'office.
1    Le Tribunal fédéral applique le droit d'office.
2    Il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant.
LTF). Il conduit son raisonnement en se fondant sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 105 Faits déterminants - 1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente.
1    Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente.
2    Il peut rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95.
3    Lorsque la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents ou de l'assurance militaire, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente.99
LTF; ATF 142 I 155 consid. 4.4.3 p. 156 s.), sous réserve des cas prévus à l'art. 105 al. 2
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 105 Faits déterminants - 1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente.
1    Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente.
2    Il peut rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95.
3    Lorsque la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents ou de l'assurance militaire, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente.99
LTF. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 95 Droit suisse - Le recours peut être formé pour violation:
a  du droit fédéral;
b  du droit international;
c  de droits constitutionnels cantonaux;
d  de dispositions cantonales sur le droit de vote des citoyens ainsi que sur les élections et votations populaires;
e  du droit intercantonal.
LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire (ATF 136 II 304 consid. 2.4 p. 313 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 97 Établissement inexact des faits - 1 Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause.
1    Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause.
2    Si la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents ou de l'assurance militaire, le recours peut porter sur toute constatation incomplète ou erronée des faits.89
LTF; ATF 137 III 226 consid. 4.2 p. 233 s.). Conformément à l'art. 106 al. 2
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 106 Application du droit - 1 Le Tribunal fédéral applique le droit d'office.
1    Le Tribunal fédéral applique le droit d'office.
2    Il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant.
LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (ATF 137 II 353 consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (art. 99 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 99 - 1 Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
1    Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
2    Toute conclusion nouvelle est irrecevable.
LTF).

3.2. Le recourant estime que l'autorité précédente a retenu à tort que le montant de 703'000 fr. constituait une indemnité octroyée pour la renonciation à l'exercice du droit d'usufruit et non pas un remboursement du capital avancé lors de l'acquisition de l'immeuble. Selon lui, la Commission de recours n'a pas suffisamment pris en compte la convention passée entre les concubins le 13 mai 1998, selon laquelle ceux-ci se comporteraient comme copropriétaires de l'immeuble. Il est d'avis que cette convention constitue le fondement de la société simple ayant existé entre eux.
La Commission de recours a retenu que les concubins avaient financé l'immeuble chacun à moitié, mais que l'acte authentique fondant l'indemnité en cause s'intitulait " Rachat de servitude d'usufruit ". Elle a constaté que cet acte ne faisait aucunement mention d'un éventuel remboursement de la somme avancée par le recourant pour l'acquisition du bien, mais qu'il précisait au contraire que celui-ci ne possédait que l'usufruit de la moitié du bien.

3.3. En l'occurrence, c'est sans arbitraire que la Commission de recours a retenu que l'indemnité de 703'000 fr. représentait une contrepartie à l'abandon, par le recourant, de l'usufruit constitué en sa faveur sur la moitié de l'immeuble. Non seulement l'acte authentique du 2 septembre 2013 prévoit la radiation d'un usufruit contre une indemnité de 703'000 fr., mais l'acte notarié du 13 mai 1998 dispose que les concubins ne sont pas copropriétaires, le recourant n'étant qu'usufruitier sur la moitié de l'immeuble. Que ce dernier ait conclu une convention avec sa partenaire est sans pertinence en l'espèce. Au demeurant, le recourant n'explique nullement en quoi le prise en compte de cette convention aurait une quelconque incidence sur l'issue de la cause. Dans ces conditions, le grief d'établissement inexact des faits doit être écarté.

4.
Le litige porte sur le point de savoir quelle est la conséquence fiscale, d'un point de vue de l'IFD, puis de l'ICC, du versement en faveur du contribuable d'une indemnité pour renonciation à un droit d'usufruit sur un immeuble.

I. Impôt fédéral direct

5.

5.1. L'art. 16
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD exprime, pour l'imposition du revenu des personnes physiques, le concept de l'accroissement du patrimoine, respectivement de l'imposition du revenu global net (" Reinvermögenszugangs-theorie "). Fondé sur la clause générale de l'art. 16 al. 1
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD et la liste exemplative des art. 17
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 17 - 1 Sont imposables tous les revenus provenant d'une activité exercée dans le cadre de rapports de travail, qu'elle soit régie par le droit privé ou par le droit public, y compris les revenus accessoires, tels que les indemnités pour prestations spéciales, les commissions, les allocations, les primes pour ancienneté de service, les gratifications, les pourboires, les tantièmes, les avantages appréciables en argent dérivant de participations de collaborateur et les autres avantages appréciables en argent.23
1    Sont imposables tous les revenus provenant d'une activité exercée dans le cadre de rapports de travail, qu'elle soit régie par le droit privé ou par le droit public, y compris les revenus accessoires, tels que les indemnités pour prestations spéciales, les commissions, les allocations, les primes pour ancienneté de service, les gratifications, les pourboires, les tantièmes, les avantages appréciables en argent dérivant de participations de collaborateur et les autres avantages appréciables en argent.23
1bis    Quel que soit leur montant, les frais de formation et de formation continue24 à des fins professionnelles assumés par l'employeur, frais de reconversion compris, ne constituent pas des avantages appréciables en argent au sens de l'al. 1.25
2    Les versements de capitaux provenant d'une institution de prévoyance en relation avec une activité dépendante et les versements de capitaux analogues versés par l'employeur sont imposables d'après les dispositions de l'art. 38.
à 23
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 23 - Sont également imposables:
a  tout revenu acquis en lieu et place du revenu d'une activité lucrative;
b  les sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé;
c  les indemnités obtenues lors de la cessation d'une activité ou de la renonciation à l'exercice de celle-ci;
d  les indemnités obtenues en échange de la renonciation à l'exercice d'un droit;
e  ...
f  la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait, ainsi que les contributions d'entretien obtenues par l'un des parents pour les enfants sur lesquels il a l'autorité parentale.
LIFD, est ainsi considéré comme revenu imposable tous les revenus du contribuable, qu'ils soient uniques ou périodiques. En font donc également partie, les indemnités obtenues en échange de la renonciation à l'exercice d'un droit (art. 23 let. d
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 23 - Sont également imposables:
a  tout revenu acquis en lieu et place du revenu d'une activité lucrative;
b  les sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé;
c  les indemnités obtenues lors de la cessation d'une activité ou de la renonciation à l'exercice de celle-ci;
d  les indemnités obtenues en échange de la renonciation à l'exercice d'un droit;
e  ...
f  la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait, ainsi que les contributions d'entretien obtenues par l'un des parents pour les enfants sur lesquels il a l'autorité parentale.
LIFD). Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée (art. 16 al. 3
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD) et les différents cas de figure prévus par la liste exhaustive de l'art. 24
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 24 - Sont exonérés de l'impôt:
a  les dévolutions de fortune ensuite d'une succession, d'un legs, d'une donation ou de la liquidation du régime matrimonial;
b  les versements provenant d'assurances de capitaux privées susceptibles de rachat, à l'exception des polices de libre-passage. L'art. 20, al. 1, let. a, est réservé;
c  les prestations en capital versées par l'employeur ou une institution de prévoyance professionnelle lors d'un changement d'emploi, à condition que le bénéficiaire les réinvestisse dans le délai d'un an dans une institution de prévoyance professionnelle ou les utilise pour acquérir une police de libre-passage;
d  les subsides provenant de fonds publics ou privés;
e  les prestations versées en exécution d'une obligation fondée sur le droit de la famille, à l'exception des pensions alimentaires et des contributions d'entretien mentionnées à l'art. 23, let. f;
f  la solde du service militaire et l'indemnité de fonction pour service de protection civile, ainsi que l'argent de poche des personnes astreintes au service civil;
fbis  la solde des sapeurs-pompiers de milice, jusqu'à concurrence d'un montant annuel de 5300 francs, pour les activités liées à l'accomplissement de leurs tâches essentielles (exercices, services de piquet, cours, inspections et interventions, notamment pour le sauvetage, la lutte contre le feu, la lutte contre les sinistres en général et la lutte contre les sinistres causés par les éléments naturels); les indemnités supplémentaires forfaitaires pour les cadres, les indemnités supplémentaires de fonction, les indemnités pour les travaux administratifs et les indemnités pour les prestations fournies volontairement ne sont pas exonérées;
g  les versements à titre de réparation du tort moral;
h  les revenus perçus en vertu de la législation fédérale sur les prestations complémentaires à l'assurance-vieillesse, survivants et invalidité;
i  les gains provenant des jeux de casino exploités dans les maisons de jeu et autorisés par la loi fédérale du 29 septembre 2017 sur les jeux d'argents (LJAr)58, pour autant que ces gains ne soient pas issus d'une activité lucrative indépendante;
ibis  les gains unitaires jusqu'à concurrence d'un montant de 1 056 600 francs provenant de la participation à un jeu de grande envergure autorisé par la LJAr et de la participation en ligne à des jeux de casino autorisés par la LJAr;
iter  les gains provenant d'un jeu de petite envergure autorisé par la LJAr;
j  les gains unitaires jusqu'à un seuil de 1100 francs provenant d'un jeu d'adresse ou d'une loterie destinés à promouvoir les ventes qui ne sont pas soumis à la LJAr selon l'art. 1, al. 2, let. d et e, de cette loi;
k  les revenus perçus en vertu de la loi fédérale du 19 juin 2020 sur les prestations transitoires pour les chômeurs âgés63.
LIFD font par contre exception (ATF 139 II 363 consid. 2.1 p. 365 s. et les références citées).

5.2. L'accroissement du patrimoine tel que défini à l'art. 16 al. 1
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD consiste en un montant net. Il correspond à l'excédent de l'ensemble des entrées patrimoniales par rapport à l'ensemble des sorties sur une même période fiscale. En d'autres termes, il est question d'accroissement du patrimoine lorsque les entrées dans la fortune du contribuable surpassent le montant des sorties durant la période fiscale en cause (cf. ATF 139 II 363 consid. 2.2 p. 366 s. et les références citées). Dans la mesure où la comparaison des entrées et des sorties de la fortune privée fait effectivement apparaître un excédant patrimonial, il convient encore de se demander si celui-ci doit être considéré comme un revenu imposable, comme un gain en capital (art. 16 al. 3
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD) ou comme un cas expressément prévu à l'art. 24
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 24 - Sont exonérés de l'impôt:
a  les dévolutions de fortune ensuite d'une succession, d'un legs, d'une donation ou de la liquidation du régime matrimonial;
b  les versements provenant d'assurances de capitaux privées susceptibles de rachat, à l'exception des polices de libre-passage. L'art. 20, al. 1, let. a, est réservé;
c  les prestations en capital versées par l'employeur ou une institution de prévoyance professionnelle lors d'un changement d'emploi, à condition que le bénéficiaire les réinvestisse dans le délai d'un an dans une institution de prévoyance professionnelle ou les utilise pour acquérir une police de libre-passage;
d  les subsides provenant de fonds publics ou privés;
e  les prestations versées en exécution d'une obligation fondée sur le droit de la famille, à l'exception des pensions alimentaires et des contributions d'entretien mentionnées à l'art. 23, let. f;
f  la solde du service militaire et l'indemnité de fonction pour service de protection civile, ainsi que l'argent de poche des personnes astreintes au service civil;
fbis  la solde des sapeurs-pompiers de milice, jusqu'à concurrence d'un montant annuel de 5300 francs, pour les activités liées à l'accomplissement de leurs tâches essentielles (exercices, services de piquet, cours, inspections et interventions, notamment pour le sauvetage, la lutte contre le feu, la lutte contre les sinistres en général et la lutte contre les sinistres causés par les éléments naturels); les indemnités supplémentaires forfaitaires pour les cadres, les indemnités supplémentaires de fonction, les indemnités pour les travaux administratifs et les indemnités pour les prestations fournies volontairement ne sont pas exonérées;
g  les versements à titre de réparation du tort moral;
h  les revenus perçus en vertu de la législation fédérale sur les prestations complémentaires à l'assurance-vieillesse, survivants et invalidité;
i  les gains provenant des jeux de casino exploités dans les maisons de jeu et autorisés par la loi fédérale du 29 septembre 2017 sur les jeux d'argents (LJAr)58, pour autant que ces gains ne soient pas issus d'une activité lucrative indépendante;
ibis  les gains unitaires jusqu'à concurrence d'un montant de 1 056 600 francs provenant de la participation à un jeu de grande envergure autorisé par la LJAr et de la participation en ligne à des jeux de casino autorisés par la LJAr;
iter  les gains provenant d'un jeu de petite envergure autorisé par la LJAr;
j  les gains unitaires jusqu'à un seuil de 1100 francs provenant d'un jeu d'adresse ou d'une loterie destinés à promouvoir les ventes qui ne sont pas soumis à la LJAr selon l'art. 1, al. 2, let. d et e, de cette loi;
k  les revenus perçus en vertu de la loi fédérale du 19 juin 2020 sur les prestations transitoires pour les chômeurs âgés63.
LIFD.

5.3. L'exonération des gains en capital privés est une exception au principe de l'imposition d'après la capacité contributive (art. 127 al. 2
SR 101 Constitution fédérale de la Confédération suisse du 18 avril 1999
Cst. Art. 127 Principes régissant l'imposition - 1 Les principes généraux régissant le régime fiscal, notamment la qualité de contribuable, l'objet de l'impôt et son mode de calcul, sont définis par la loi.
1    Les principes généraux régissant le régime fiscal, notamment la qualité de contribuable, l'objet de l'impôt et son mode de calcul, sont définis par la loi.
2    Dans la mesure où la nature de l'impôt le permet, les principes de l'universalité, de l'égalité de traitement et de la capacité économique doivent, en particulier, être respectés.
3    La double imposition par les cantons est interdite. La Confédération prend les mesures nécessaires.
Cst.), concrétisé par le principe de l'accroissement du patrimoine. Cette exception a été voulue par le législateur, notamment pour des motifs d'économie de procédure, mais doit être appliquée avec retenue. Dans un système caractérisé par un impôt général sur le revenu, les exceptions doivent être interprétées restrictivement (ATF 142 II 197 consid. 5.6 p. 204 et les références citées).
A teneur de l'art. 16 al. 3
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD, les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables. L'exception de l'impôt sur les gains immobiliers prévue par le droit cantonal (cf. art. 12
SR 642.14 Loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID)
LHID Art. 12 - 1 L'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses).
1    L'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses).
2    Toute aliénation d'immeubles est imposable. Sont assimilés à une aliénation:
a  les actes juridiques qui ont les mêmes effets économiques qu'une aliénation sur le pouvoir de disposer d'un immeuble;
b  le transfert de tout ou partie d'un immeuble de la fortune privée à la fortune commerciale du contribuable;
c  la constitution de servitudes de droit privé sur un immeuble ou les restrictions de droit public à la propriété foncière, lorsque celles-ci limitent l'exploitation ou diminuent la valeur vénale de l'immeuble de manière durable et essentielle et qu'elles donnent lieu à une indemnité;
d  le transfert de participations à des sociétés immobilières qui font partie de la fortune privée du contribuable, dans la mesure où le droit cantonal en prévoit l'imposition;
e  les plus-values résultant de mesures d'aménagement au sens de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire83, obtenues indépendamment d'une aliénation dans la mesure où le droit cantonal les soumet à l'impôt sur les gains immobiliers.
3    L'imposition est différée:
a  les faits mentionnés aux art. 8, al. 3 et 4, et 24, al. 3 et 3quater, sont assimilés à des aliénations dont l'imposition est différée pour l'impôt sur les gains immobiliers;
b  le transfert de tout ou partie d'un immeuble de la fortune privée du contribuable dans sa fortune commerciale ne peut être assimilé à une aliénation.
c  en cas de remembrement opéré soit en vue d'un remaniement parcellaire, de l'établissement d'un plan de quartier, de rectification de limites ou d'arrondissement d'une aire agricole, soit dans le cadre d'une procédure d'expropriation ou en raison d'une expropriation imminente;
d  en cas d'aliénation totale ou partielle d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit utilisé dans un délai raisonnable pour l'acquisition d'un immeuble de remplacement exploité par le contribuable lui-même ou pour l'amélioration d'immeubles agricoles ou sylvicoles appartenant au contribuable et exploités par lui-même;
e  en cas d'aliénation de l'habitation (maison ou appartement) ayant durablement et exclusivement servi au propre usage de l'aliénateur, dans la mesure où le produit ainsi obtenu est affecté, dans un délai approprié, à l'acquisition ou à la construction en Suisse d'une habitation servant au même usage.
5    Les cantons veillent à ce que les bénéfices réalisés à court terme soient imposés plus lourdement.
LHID) n'existe pas au niveau fédéral (BLUMENSTEIN/LOCHER, System des schweizerischen Steuerrechts, 7 e éd. 2016, p. 224 s.; XAVIER OBERSON, Droit fiscal suisse, 4 e éd. 2012, § 13 n. 19). La distinction entre rendement du capital et gain en capital s'opère généralement au moyen du critère de la diminution de la substance patrimoniale. Le bien aliéné quitte la fortune de la personne concernée et en diminue la substance, jusqu'à réception de la contreprestation (ATF 139 II 363 consid. 2.3 p. 367 et les références citées). Par ailleurs, il faut veiller à différencier l'art. 16 al. 3
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD de l'art. 23 let. d
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 23 - Sont également imposables:
a  tout revenu acquis en lieu et place du revenu d'une activité lucrative;
b  les sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé;
c  les indemnités obtenues lors de la cessation d'une activité ou de la renonciation à l'exercice de celle-ci;
d  les indemnités obtenues en échange de la renonciation à l'exercice d'un droit;
e  ...
f  la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait, ainsi que les contributions d'entretien obtenues par l'un des parents pour les enfants sur lesquels il a l'autorité parentale.
LIFD. Cette dernière disposition, qui prévoit l'imposition de l'indemnité perçue pour la renonciation à l'exercice d'un droit, ne vise pas à imposer les gains en capital issus de la renonciation onéreuse à un bien de la fortune privée et ainsi à contourner l'art. 16 al. 3
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD (arrêt 2C 368/2013 du 2 février 2014 consid. 5.3, in RDAF 2014 II 555; HUNZIKER/MAYER-KNOBEL, in Bundesgesetz über die direkte
Bundessteuer, 3 e éd. 2017, Zweifel/Beusch [éd.], n. 16 ad art. 23
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 23 - Sont également imposables:
a  tout revenu acquis en lieu et place du revenu d'une activité lucrative;
b  les sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé;
c  les indemnités obtenues lors de la cessation d'une activité ou de la renonciation à l'exercice de celle-ci;
d  les indemnités obtenues en échange de la renonciation à l'exercice d'un droit;
e  ...
f  la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait, ainsi que les contributions d'entretien obtenues par l'un des parents pour les enfants sur lesquels il a l'autorité parentale.
LIFD; YVES NOËL, in Impôt fédéral direct, Commentaire de la loi sur l'impôt fédéral direct, 2 e éd. 2017, Noël/Aubry Girardin [éd.], n. 29 ad art. 23
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 23 - Sont également imposables:
a  tout revenu acquis en lieu et place du revenu d'une activité lucrative;
b  les sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé;
c  les indemnités obtenues lors de la cessation d'une activité ou de la renonciation à l'exercice de celle-ci;
d  les indemnités obtenues en échange de la renonciation à l'exercice d'un droit;
e  ...
f  la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait, ainsi que les contributions d'entretien obtenues par l'un des parents pour les enfants sur lesquels il a l'autorité parentale.
LIFD; XAVIER OBERSON, op. cit., § 7 n. 237; RYSER/ROLLI, Précis de droit fiscal suisse, 4 e éd. 2002, n. 37 p. 180 s.). Pour faire application de l'art. 23 let. d
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 23 - Sont également imposables:
a  tout revenu acquis en lieu et place du revenu d'une activité lucrative;
b  les sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé;
c  les indemnités obtenues lors de la cessation d'une activité ou de la renonciation à l'exercice de celle-ci;
d  les indemnités obtenues en échange de la renonciation à l'exercice d'un droit;
e  ...
f  la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait, ainsi que les contributions d'entretien obtenues par l'un des parents pour les enfants sur lesquels il a l'autorité parentale.
LIFD, il faut donc que l'indemnité ait le caractère d'un revenu, respectivement d'un rendement (arrêt 2C 622/2011 du 29 février 2012 consid. 8.2, in StE 2012 B 21.1 n. 21).

6.

6.1. En l'espèce, il ressort de l'arrêt entrepris que le recourant a obtenu un usufruit sur la moitié d'un immeuble en 1998 et qu'en 2013, l'inscription de cet usufruit a été radiée du registre foncier contre un montant de 703'000 fr., versé par la nue-propriétaire. La Commission de recours a imposé ce montant au titre du revenu sur la base de l'art. 23 let. d
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 23 - Sont également imposables:
a  tout revenu acquis en lieu et place du revenu d'une activité lucrative;
b  les sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé;
c  les indemnités obtenues lors de la cessation d'une activité ou de la renonciation à l'exercice de celle-ci;
d  les indemnités obtenues en échange de la renonciation à l'exercice d'un droit;
e  ...
f  la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait, ainsi que les contributions d'entretien obtenues par l'un des parents pour les enfants sur lesquels il a l'autorité parentale.
LIFD, estimant que le recourant avait renoncé à l'exercice de son droit d'usufruit.

6.2. L'usufruit est un droit réel. C'est plus précisément une servitude personnelle proprement dite, qui est indissolublement liée à la personne de son titulaire. Il est donc incessible et intransmissible (cf. ATF 133 III 311 consid. 4.2.2 p. 321 s.; arrêt 2C 874/2010 du 12 octobre 2011 consid. 5.3, in RDAF 2011 II 550, StE 2012 B 73.11 n. 1; PAUL-HENRI STEINAUER, Les droits réels, Tome III, 4 e éd. 2012, n. 2403). Selon l'art. 755 al. 1
SR 210 Code civil suisse du 10 décembre 1907
CC Art. 755 - 1 L'usufruitier a la possession, l'usage et la jouissance de la chose.
1    L'usufruitier a la possession, l'usage et la jouissance de la chose.
2    Il en a aussi la gestion.
3    Il observe, dans l'exercice de ses droits, les règles d'une bonne administration.
et 2
SR 210 Code civil suisse du 10 décembre 1907
CC Art. 755 - 1 L'usufruitier a la possession, l'usage et la jouissance de la chose.
1    L'usufruitier a la possession, l'usage et la jouissance de la chose.
2    Il en a aussi la gestion.
3    Il observe, dans l'exercice de ses droits, les règles d'une bonne administration.
CC, l'usufruitier a la possession, l'usage et la jouissance de la chose, et il en a aussi la gestion (cf. ATF 130 III 302 consid. 3.1 p. 303). L'usufruit des immeubles s'établit par l'inscription au registre foncier (art. 746 al. 1
SR 210 Code civil suisse du 10 décembre 1907
CC Art. 746 - 1 L'usufruit des choses mobilières et des créances s'établit par leur transfert à l'usufruitier, celui des immeubles par l'inscription au registre foncier.
1    L'usufruit des choses mobilières et des créances s'établit par leur transfert à l'usufruitier, celui des immeubles par l'inscription au registre foncier.
2    Les règles concernant la propriété sont applicables, sauf dispositions contraires, à l'acquisition de l'usufruit tant mobilier qu'immobilier et à l'inscription.
CC). Il s'éteint par la radiation de cette inscription (art. 748 al. 1
SR 210 Code civil suisse du 10 décembre 1907
CC Art. 748 - 1 L'usufruit s'éteint par la perte totale de la chose et en outre, s'il s'agit d'immeubles, par la radiation de l'inscription, lorsque celle-ci est nécessaire pour l'établir.
1    L'usufruit s'éteint par la perte totale de la chose et en outre, s'il s'agit d'immeubles, par la radiation de l'inscription, lorsque celle-ci est nécessaire pour l'établir.
2    D'autres causes d'extinction, telles que l'échéance du terme, la renonciation et la mort de l'usufruitier, ne confèrent au propriétaire, en matière d'usufruit immobilier, que le droit d'exiger la radiation.
3    L'usufruit légal s'éteint avec la cause qui lui a donné naissance.
CC). Les causes de l'extinction sont l'échéance du terme, respectivement la renonciation ou la mort de l'usufruitier (art. 748 al. 2
SR 210 Code civil suisse du 10 décembre 1907
CC Art. 748 - 1 L'usufruit s'éteint par la perte totale de la chose et en outre, s'il s'agit d'immeubles, par la radiation de l'inscription, lorsque celle-ci est nécessaire pour l'établir.
1    L'usufruit s'éteint par la perte totale de la chose et en outre, s'il s'agit d'immeubles, par la radiation de l'inscription, lorsque celle-ci est nécessaire pour l'établir.
2    D'autres causes d'extinction, telles que l'échéance du terme, la renonciation et la mort de l'usufruitier, ne confèrent au propriétaire, en matière d'usufruit immobilier, que le droit d'exiger la radiation.
3    L'usufruit légal s'éteint avec la cause qui lui a donné naissance.
et 749 al. 1
SR 210 Code civil suisse du 10 décembre 1907
CC Art. 749 - 1 L'usufruit s'éteint par la mort de l'usufruitier et, si l'usufruitier est une personne morale, par la dissolution de celle-ci.
1    L'usufruit s'éteint par la mort de l'usufruitier et, si l'usufruitier est une personne morale, par la dissolution de celle-ci.
2    Toutefois, l'usufruit des personnes morales ne peut durer plus de cent ans.
CC). Ces causes d'extinction expriment le caractère intransmissible du droit d'usufruit et sont de droit impératif (PAUL-HENRI STEINAUER, op. cit., n. 2464).

6.3. Tout d'abord, on doit relever que le point de savoir si le recourant a obtenu l'usufruit en s'acquittant d'une somme d'argent (par exemple la moitié du prix d'achat de l'immeuble) ou s'il a fait donation de la moitié de la valeur de l'immeuble à son ancienne concubine, celle-ci lui ayant fait à son tour donation de l'usufruit, n'est pas pertinent pour la présente cause, pas plus que les suites fiscales de l'achat de cet immeuble. Seule est déterminante la situation en 2013, lors de la renonciation du recourant à son usufruit, la radiation de ce droit du registre foncier et le versement de l'indemnité de 703'000 fr.

6.4. En application de la théorie de l'accroissement du patrimoine telle que développée précédemment (cf. consid. 5.2 ci-dessus), le recourant disposait, au début de l'année fiscale 2013, de l'usufruit en cause dans sa fortune (cf. à ce propos l'art. 13 al. 2
SR 642.14 Loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID)
LHID Art. 13 Objet de l'impôt - 1 L'impôt sur la fortune a pour objet l'ensemble de la fortune nette.
1    L'impôt sur la fortune a pour objet l'ensemble de la fortune nette.
2    La fortune grevée d'usufruit est imposable auprès de l'usufruitier.
3    Les parts de placements collectifs qui possèdent des immeubles en propriété directe sont imposables pour la différence entre la valeur de l'ensemble des actifs du placement et celle de ses immeubles en propriété directe.87
4    Le mobilier de ménage et les objets personnels d'usage courant ne sont pas imposés.
LHID qui prévoit, au niveau cantonal, l'imposition de la fortune grevée d'usufruit auprès de l'usufruitier et pas auprès du nu-propriétaire). Cet usufruit avait une certaine valeur. Si, en raison de son incessibilité, l'usufruit ne peut pas être objet de commerce et n'a par conséquent pas de valeur vénale (arrêt 2C 874/2010 du 12 octobre 2011 consid. 5.3 et la référence citée), sa valeur pour l'usufruitier peut être établie en capitalisant, en fonction de la durée probable du droit, le montant produit par la jouissance de l'objet grevé pendant un an. Pour ce faire, on tient compte, si l'usufruit est viager comme c'est le cas en l'espèce, de la durée présumable qu'il aura au vu de l'âge de l'usufruitier (cf. PAUL-HENRI STEINAUER, op. cit., n. 2406). Deux situations sont alors envisageables. Soit le montant de l'indemnité est inférieur ou égal à la valeur de l'usufruit, soit il en est supérieur. Dans ce dernier cas de figure, la différence existant entre la valeur de l'usufruit
et le montant auquel celui-ci a été cédé représente un accroissement du patrimoine du recourant.

6.5. L'autorité précédente n'a toutefois pas déterminé la valeur de l'usufruit en 2013, lorsque le recourant y a renoncé. Il n'est donc pas possible de savoir si celui-ci a vu sa fortune privée augmenter. Cependant, cette question peut demeurer indécise dans la mesure où, en application de l'art. 16 al. 3
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD, l'accroissement éventuel du patrimoine du recourant ne saurait être imposé.
En effet, contrairement à l'avis de la Commission de recours, la renonciation par le recourant à son droit d'usufruit ne doit pas être envisagée sous l'angle de l'art. 23 let. d
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 23 - Sont également imposables:
a  tout revenu acquis en lieu et place du revenu d'une activité lucrative;
b  les sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé;
c  les indemnités obtenues lors de la cessation d'une activité ou de la renonciation à l'exercice de celle-ci;
d  les indemnités obtenues en échange de la renonciation à l'exercice d'un droit;
e  ...
f  la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait, ainsi que les contributions d'entretien obtenues par l'un des parents pour les enfants sur lesquels il a l'autorité parentale.
LIFD. Le recourant n'a pas perçu un revenu, respectivement un rendement lors de la renonciation à son droit d'usufruit (cf. arrêt 2C 622/2011 du 29 février 2012 consid. 8.2), mais a uniquement diminué son patrimoine d'un élément ayant une certaine valeur contre une somme d'argent. Le fait qu'il n'ait pas aliéné son droit (ce qu'il ne pouvait de toute façon pas faire) comme le prévoit la lettre de l'art. 16 al. 3
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
LIFD, mais l'ait abandonné n'y change rien (cf. RYSER/ROLLI, op. cit. n. 37 p. 180 s.). Ainsi, dans la mesure où l'abandon du droit d'usufruit venait à augmenter la fortune du recourant, cette augmentation devrait donc être appréhendée sous l'angle d'un gain en capital et pas d'un revenu soumis à l'impôt.

6.6. C'est donc en violation du droit que la Commission de recours a ajouté le montant de 703'000 fr. au revenu du recourant. Le recours, en tant qu'il porte sur l'impôt fédéral direct de l'année fiscale 2013, doit donc être admis et l'arrêt entrepris annulé. La cause est renvoyée au Service des contributions, afin qu'il détermine le montant d'IFD dû par le recourant, sans tenir compte du montant de 703'000 fr. précité.

II. Impôts cantonal et communal

7.

7.1. Les art. 12 et 19 let. c de la loi fiscale valaisanne du 10 mars 1976 (LF/VS; RSVS 642.1) sont libellés de manière identique aux art. 16
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 16 - 1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
1    L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques.
2    Sont aussi considérés comme revenu les prestations en nature de tout genre dont bénéficie le contribuable, notamment la pension et le logement, ainsi que les produits et marchandises qu'il prélève dans son exploitation et qui sont destinés à sa consommation personnelle; ces prestations sont estimées à leur valeur marchande.
3    Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables.
et 23
SR 642.11 Loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD)
LIFD Art. 23 - Sont également imposables:
a  tout revenu acquis en lieu et place du revenu d'une activité lucrative;
b  les sommes uniques ou périodiques obtenues ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé;
c  les indemnités obtenues lors de la cessation d'une activité ou de la renonciation à l'exercice de celle-ci;
d  les indemnités obtenues en échange de la renonciation à l'exercice d'un droit;
e  ...
f  la pension alimentaire obtenue pour lui-même par le contribuable divorcé ou séparé judiciairement ou de fait, ainsi que les contributions d'entretien obtenues par l'un des parents pour les enfants sur lesquels il a l'autorité parentale.
let. d LIFD. La jurisprudence rendue en matière d'impôt fédéral direct est en principe également valable pour l'application des dispositions cantonales harmonisées correspondantes (ATF 140 II 88 consid. 10 p. 101 s. et les références citées).

7.2. On relèvera toutefois que l'ICC connaît un régime spécial s'agissant des gains en capital issus de l'aliénation d'immeubles faisant partie de la fortune privée (art. 12
SR 642.14 Loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID)
LHID Art. 12 - 1 L'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses).
1    L'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses).
2    Toute aliénation d'immeubles est imposable. Sont assimilés à une aliénation:
a  les actes juridiques qui ont les mêmes effets économiques qu'une aliénation sur le pouvoir de disposer d'un immeuble;
b  le transfert de tout ou partie d'un immeuble de la fortune privée à la fortune commerciale du contribuable;
c  la constitution de servitudes de droit privé sur un immeuble ou les restrictions de droit public à la propriété foncière, lorsque celles-ci limitent l'exploitation ou diminuent la valeur vénale de l'immeuble de manière durable et essentielle et qu'elles donnent lieu à une indemnité;
d  le transfert de participations à des sociétés immobilières qui font partie de la fortune privée du contribuable, dans la mesure où le droit cantonal en prévoit l'imposition;
e  les plus-values résultant de mesures d'aménagement au sens de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire83, obtenues indépendamment d'une aliénation dans la mesure où le droit cantonal les soumet à l'impôt sur les gains immobiliers.
3    L'imposition est différée:
a  les faits mentionnés aux art. 8, al. 3 et 4, et 24, al. 3 et 3quater, sont assimilés à des aliénations dont l'imposition est différée pour l'impôt sur les gains immobiliers;
b  le transfert de tout ou partie d'un immeuble de la fortune privée du contribuable dans sa fortune commerciale ne peut être assimilé à une aliénation.
c  en cas de remembrement opéré soit en vue d'un remaniement parcellaire, de l'établissement d'un plan de quartier, de rectification de limites ou d'arrondissement d'une aire agricole, soit dans le cadre d'une procédure d'expropriation ou en raison d'une expropriation imminente;
d  en cas d'aliénation totale ou partielle d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit utilisé dans un délai raisonnable pour l'acquisition d'un immeuble de remplacement exploité par le contribuable lui-même ou pour l'amélioration d'immeubles agricoles ou sylvicoles appartenant au contribuable et exploités par lui-même;
e  en cas d'aliénation de l'habitation (maison ou appartement) ayant durablement et exclusivement servi au propre usage de l'aliénateur, dans la mesure où le produit ainsi obtenu est affecté, dans un délai approprié, à l'acquisition ou à la construction en Suisse d'une habitation servant au même usage.
5    Les cantons veillent à ce que les bénéfices réalisés à court terme soient imposés plus lourdement.
LHID; art. 44 ss LF/VS). L'art. 12 al. 3 LF/VS, qui concerne l'exonération des gains en capital privé, réserve d'ailleurs expressément l'imposition distincte des gains immobiliers. Ainsi, un impôt sur les gains immobiliers est prélevé sur les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (art. 12 al. 1
SR 642.14 Loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID)
LHID Art. 12 - 1 L'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses).
1    L'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses).
2    Toute aliénation d'immeubles est imposable. Sont assimilés à une aliénation:
a  les actes juridiques qui ont les mêmes effets économiques qu'une aliénation sur le pouvoir de disposer d'un immeuble;
b  le transfert de tout ou partie d'un immeuble de la fortune privée à la fortune commerciale du contribuable;
c  la constitution de servitudes de droit privé sur un immeuble ou les restrictions de droit public à la propriété foncière, lorsque celles-ci limitent l'exploitation ou diminuent la valeur vénale de l'immeuble de manière durable et essentielle et qu'elles donnent lieu à une indemnité;
d  le transfert de participations à des sociétés immobilières qui font partie de la fortune privée du contribuable, dans la mesure où le droit cantonal en prévoit l'imposition;
e  les plus-values résultant de mesures d'aménagement au sens de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire83, obtenues indépendamment d'une aliénation dans la mesure où le droit cantonal les soumet à l'impôt sur les gains immobiliers.
3    L'imposition est différée:
a  les faits mentionnés aux art. 8, al. 3 et 4, et 24, al. 3 et 3quater, sont assimilés à des aliénations dont l'imposition est différée pour l'impôt sur les gains immobiliers;
b  le transfert de tout ou partie d'un immeuble de la fortune privée du contribuable dans sa fortune commerciale ne peut être assimilé à une aliénation.
c  en cas de remembrement opéré soit en vue d'un remaniement parcellaire, de l'établissement d'un plan de quartier, de rectification de limites ou d'arrondissement d'une aire agricole, soit dans le cadre d'une procédure d'expropriation ou en raison d'une expropriation imminente;
d  en cas d'aliénation totale ou partielle d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit utilisé dans un délai raisonnable pour l'acquisition d'un immeuble de remplacement exploité par le contribuable lui-même ou pour l'amélioration d'immeubles agricoles ou sylvicoles appartenant au contribuable et exploités par lui-même;
e  en cas d'aliénation de l'habitation (maison ou appartement) ayant durablement et exclusivement servi au propre usage de l'aliénateur, dans la mesure où le produit ainsi obtenu est affecté, dans un délai approprié, à l'acquisition ou à la construction en Suisse d'une habitation servant au même usage.
5    Les cantons veillent à ce que les bénéfices réalisés à court terme soient imposés plus lourdement.
LHID; art. 44 al. 1 et 48 al. 1 LF/VS). Aux termes de l'art. 12 al. 2 let. c
SR 642.14 Loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID)
LHID Art. 12 - 1 L'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses).
1    L'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses).
2    Toute aliénation d'immeubles est imposable. Sont assimilés à une aliénation:
a  les actes juridiques qui ont les mêmes effets économiques qu'une aliénation sur le pouvoir de disposer d'un immeuble;
b  le transfert de tout ou partie d'un immeuble de la fortune privée à la fortune commerciale du contribuable;
c  la constitution de servitudes de droit privé sur un immeuble ou les restrictions de droit public à la propriété foncière, lorsque celles-ci limitent l'exploitation ou diminuent la valeur vénale de l'immeuble de manière durable et essentielle et qu'elles donnent lieu à une indemnité;
d  le transfert de participations à des sociétés immobilières qui font partie de la fortune privée du contribuable, dans la mesure où le droit cantonal en prévoit l'imposition;
e  les plus-values résultant de mesures d'aménagement au sens de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire83, obtenues indépendamment d'une aliénation dans la mesure où le droit cantonal les soumet à l'impôt sur les gains immobiliers.
3    L'imposition est différée:
a  les faits mentionnés aux art. 8, al. 3 et 4, et 24, al. 3 et 3quater, sont assimilés à des aliénations dont l'imposition est différée pour l'impôt sur les gains immobiliers;
b  le transfert de tout ou partie d'un immeuble de la fortune privée du contribuable dans sa fortune commerciale ne peut être assimilé à une aliénation.
c  en cas de remembrement opéré soit en vue d'un remaniement parcellaire, de l'établissement d'un plan de quartier, de rectification de limites ou d'arrondissement d'une aire agricole, soit dans le cadre d'une procédure d'expropriation ou en raison d'une expropriation imminente;
d  en cas d'aliénation totale ou partielle d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit utilisé dans un délai raisonnable pour l'acquisition d'un immeuble de remplacement exploité par le contribuable lui-même ou pour l'amélioration d'immeubles agricoles ou sylvicoles appartenant au contribuable et exploités par lui-même;
e  en cas d'aliénation de l'habitation (maison ou appartement) ayant durablement et exclusivement servi au propre usage de l'aliénateur, dans la mesure où le produit ainsi obtenu est affecté, dans un délai approprié, à l'acquisition ou à la construction en Suisse d'une habitation servant au même usage.
5    Les cantons veillent à ce que les bénéfices réalisés à court terme soient imposés plus lourdement.
LHID, respectivement de l'art. 45 al. 2 let. c LF/VS, est assimilée à l'aliénation d'un immeuble, la constitution de servitudes de droit privé sur un immeuble ou les restrictions de droit public à la propriété foncière, lorsque celles-ci limitent l'exploitation ou diminuent la valeur vénale de l'immeuble, de manière durable et essentielle, et donnent lieu à une indemnité.
En l'occurrence, l'usufruit n'est pas un immeuble au sens du droit civil (cf. art. 655 al. 2 ch. 2
SR 210 Code civil suisse du 10 décembre 1907
CC Art. 655 - 1 La propriété foncière a pour objet les immeubles.
1    La propriété foncière a pour objet les immeubles.
2    Sont immeubles dans le sens de la présente loi:
1  les biens-fonds;
2  les droits distincts et permanents, immatriculés au registre foncier;
3  les mines;
4  les parts de copropriété d'un immeuble.
3    Une servitude sur un immeuble peut être immatriculée comme droit distinct et permanent aux conditions suivantes:
1  elle n'est établie ni en faveur d'un fonds dominant ni exclusivement en faveur d'une personne déterminée;
2  elle est établie pour 30 ans au moins ou pour une durée indéterminée.545
et al. 3 ch. 1 CC a contrario). Il n'est toutefois pas exclu que la législation et la pratique valaisannes le considèrent comme tel d'un point de vue fiscal, dès lors que la constitution d'une servitude de droit privé (tel l'usufruit) est assimilée à une aliénation d'immeuble et engendre une imposition en cas de gain (cf. GABRIEL RUMO, Die Liegenschaftsgewinn- und die Mehrwertsteuer des Kantons Freiburg, thèse Fribourg 1993, p. 69). Pour le cas d'espèce, le sort à réserver à cette question peut cependant demeurer indécis. En effet, s'il fallait considérer l'indemnité pour la renonciation du droit d'usufruit par le recourant comme un gain immobilier et pas comme un gain en capital exonéré (art. 12 al. 3 LF/VS), celui-ci devrait être imposé au lieu de situation de l'immeuble (cf. art. 4 al. 1
SR 642.14 Loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID)
LHID Art. 4 Assujettissement à raison du rattachement économique - 1 Les personnes physiques qui, au regard du droit fiscal, ne sont ni domiciliées ni en séjour dans le canton sont assujetties à l'impôt à raison du rattachement économique lorsqu'elles y exploitent une entreprise ou un établissement stable, y possèdent des immeubles, en ont la jouissance ou font du commerce immobilier.5
1    Les personnes physiques qui, au regard du droit fiscal, ne sont ni domiciliées ni en séjour dans le canton sont assujetties à l'impôt à raison du rattachement économique lorsqu'elles y exploitent une entreprise ou un établissement stable, y possèdent des immeubles, en ont la jouissance ou font du commerce immobilier.5
2    Les personnes physiques qui, au regard du droit fiscal, ne sont ni domiciliées ni en séjour en Suisse sont assujetties à l'impôt à raison du rattachement économique lorsque:
a  elles exercent une activité lucrative dans le canton;
b  en leur qualité de membres de l'administration ou de la direction d'une personne morale qui a son siège ou un établissement stable dans le canton, elles reçoivent des tantièmes, jetons de présence, indemnités fixes, participations de collaborateur ou autres rémunérations;
c  elles sont titulaires ou usufruitières de créances garanties par un gage immobilier ou un nantissement sur des immeubles sis dans le canton;
d  ensuite d'une activité pour le compte d'autrui régie par le droit public, elles reçoivent des pensions, des retraites ou d'autres prestations d'un employeur ou d'une caisse de prévoyance qui a son siège dans le canton;
e  elles perçoivent des revenus provenant d'institutions suisses de droit privé ayant trait à la prévoyance professionnelle ou d'autres formes reconnues de prévoyance individuelle liée;
f  en raison de leur activité dans le trafic international à bord d'un bateau, d'un aéronef ou d'un véhicule de transports routiers, elles reçoivent un salaire ou d'autres rémunérations d'un employeur ayant son siège ou un établissement stable dans le canton; les marins travaillant à bord de navires de haute mer sont exemptés de cet impôt;
g  elles servent d'intermédiaires dans des opérations de commerce portant sur des immeubles sis dans le canton.
LHID; art. 3 al. 1 let. c LF/VS), c'est-à-dire dans le canton de Genève, ce qui exclut d'emblée une imposition par le canton du Valais. Connaître le sort réservé en droit genevois à ce type de situation ne fait pas partie du litige (ATF 142 I 155 consid. 4.4.2 p. 156).

7.3. Sur le vu de ce qui précède, le recours doit également être admis en tant qu'il concerne les impôts cantonal et communal de l'année fiscale 2013. L'arrêt entrepris est annulé et la cause renvoyée au Service des contributions, afin que celui-ci détermine le montant d'ICC dû par le recourant, sans tenir compte, dans le revenu de celui-ci, du montant de 703'000 fr. d'indemnité perçu en compensation du droit d'usufruit.

8.
Les frais judiciaires sont mis à la charge du canton du Valais, dont l'intérêt patrimonial est en cause (art. 66 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 66 Recouvrement des frais judiciaires - 1 En règle générale, les frais judiciaires sont mis à la charge de la partie qui succombe. Si les circonstances le justifient, le Tribunal fédéral peut les répartir autrement ou renoncer à les mettre à la charge des parties.
1    En règle générale, les frais judiciaires sont mis à la charge de la partie qui succombe. Si les circonstances le justifient, le Tribunal fédéral peut les répartir autrement ou renoncer à les mettre à la charge des parties.
2    Si une affaire est liquidée par un désistement ou une transaction, les frais judiciaires peuvent être réduits ou remis.
3    Les frais causés inutilement sont supportés par celui qui les a engendrés.
4    En règle générale, la Confédération, les cantons, les communes et les organisations chargées de tâches de droit public ne peuvent se voir imposer de frais judiciaires s'ils s'adressent au Tribunal fédéral dans l'exercice de leurs attributions officielles sans que leur intérêt patrimonial soit en cause ou si leurs décisions font l'objet d'un recours.
5    Sauf disposition contraire, les frais judiciaires mis conjointement à la charge de plusieurs personnes sont supportés par elles à parts égales et solidairement.
et 4
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 66 Recouvrement des frais judiciaires - 1 En règle générale, les frais judiciaires sont mis à la charge de la partie qui succombe. Si les circonstances le justifient, le Tribunal fédéral peut les répartir autrement ou renoncer à les mettre à la charge des parties.
1    En règle générale, les frais judiciaires sont mis à la charge de la partie qui succombe. Si les circonstances le justifient, le Tribunal fédéral peut les répartir autrement ou renoncer à les mettre à la charge des parties.
2    Si une affaire est liquidée par un désistement ou une transaction, les frais judiciaires peuvent être réduits ou remis.
3    Les frais causés inutilement sont supportés par celui qui les a engendrés.
4    En règle générale, la Confédération, les cantons, les communes et les organisations chargées de tâches de droit public ne peuvent se voir imposer de frais judiciaires s'ils s'adressent au Tribunal fédéral dans l'exercice de leurs attributions officielles sans que leur intérêt patrimonial soit en cause ou si leurs décisions font l'objet d'un recours.
5    Sauf disposition contraire, les frais judiciaires mis conjointement à la charge de plusieurs personnes sont supportés par elles à parts égales et solidairement.
LTF). Le canton du Valais doit en outre verser au recourant une indemnité à titre de dépens (cf. art. 68 al. 1
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 68 Dépens - 1 Le Tribunal fédéral décide, dans son arrêt, si et dans quelle mesure les frais de la partie qui obtient gain de cause sont supportés par celle qui succombe.
1    Le Tribunal fédéral décide, dans son arrêt, si et dans quelle mesure les frais de la partie qui obtient gain de cause sont supportés par celle qui succombe.
2    En règle générale, la partie qui succombe est tenue de rembourser à la partie qui a obtenu gain de cause, selon le tarif du Tribunal fédéral, tous les frais nécessaires causés par le litige.
3    En règle générale, aucuns dépens ne sont alloués à la Confédération, aux cantons, aux communes ou aux organisations chargées de tâches de droit public lorsqu'ils obtiennent gain de cause dans l'exercice de leurs attributions officielles.
4    L'art. 66, al. 3 et 5, est applicable par analogie.
5    Le Tribunal fédéral confirme, annule ou modifie, selon le sort de la cause, la décision de l'autorité précédente sur les dépens. Il peut fixer lui-même les dépens d'après le tarif fédéral ou cantonal applicable ou laisser à l'autorité précédente le soin de les fixer.
LTF). La Commission de recours procédera à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle (art. 67
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 67 Frais de la procédure antérieure - Si le Tribunal fédéral modifie la décision attaquée, il peut répartir autrement les frais de la procédure antérieure.
et 68 al. 5
SR 173.110 Loi du 17 juin 2005 sur le Tribunal fédéral (LTF) - Organisation judiciaire
LTF Art. 68 Dépens - 1 Le Tribunal fédéral décide, dans son arrêt, si et dans quelle mesure les frais de la partie qui obtient gain de cause sont supportés par celle qui succombe.
1    Le Tribunal fédéral décide, dans son arrêt, si et dans quelle mesure les frais de la partie qui obtient gain de cause sont supportés par celle qui succombe.
2    En règle générale, la partie qui succombe est tenue de rembourser à la partie qui a obtenu gain de cause, selon le tarif du Tribunal fédéral, tous les frais nécessaires causés par le litige.
3    En règle générale, aucuns dépens ne sont alloués à la Confédération, aux cantons, aux communes ou aux organisations chargées de tâches de droit public lorsqu'ils obtiennent gain de cause dans l'exercice de leurs attributions officielles.
4    L'art. 66, al. 3 et 5, est applicable par analogie.
5    Le Tribunal fédéral confirme, annule ou modifie, selon le sort de la cause, la décision de l'autorité précédente sur les dépens. Il peut fixer lui-même les dépens d'après le tarif fédéral ou cantonal applicable ou laisser à l'autorité précédente le soin de les fixer.
LTF).

Par ces motifs, le Tribunal fédéral prononce :

1.
Les causes 2C 82/2017 et 2C 83/2017 sont jointes.

2.
Le recours est admis en tant qu'il concerne l'impôt fédéral direct.

3.
Le recours est admis en tant qu'il concerne les impôts cantonal et communal.

4.
L'arrêt rendu le 14 septembre 2016 par la Commission de recours est annulé. La cause est renvoyée au Service des contributions pour nouvelle décision dans le sens des considérants.

5.
Les frais judiciaires, arrêtés à 6'500 fr., sont mis à la charge du canton du Valais.

6.
Le canton du Valais versera au recourant une indemnité de 6'500 fr. à titre de dépens.

7.
La cause est renvoyée à la Commission de recours pour nouvelle décision sur les frais et les dépens de la procédure antérieure.

8.
Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions et à la Commission cantonale de recours en matière fiscale du canton du Valais, ainsi qu'à l'Administration fédérale des contributions.

Lausanne, le 21 juin 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse

Le Président : Seiler

Le Greffier : Tissot-Daguette