Faits :
A.
X._ a vécu en concubinage durant plusieurs années. Par acte notarié du 13 mai 1998, la concubine de l'intéressé a acquis la pleine propriété de la moitié d'un immeuble à Genève et la nue-propriété de la seconde moitié. Dans le même acte, X._ a été constitué usufruitier de cette seconde moitié. Les concubins ont financé chacun à moitié l'achat de l'immeuble. Par acte authentique du 2 septembre 2013, à la suite de leur séparation, ils ont fait radier la servitude d'usufruit grevant la moitié de l'immeuble. X._ a reçu de son ex-concubine une indemnité de 703'000 fr. en compensation.
B.
Le 26 mars 2014, X._ a déposé sa déclaration d'impôt pour les impôts cantonal et communal (ci-après: ICC) et pour l'impôt fédéral direct (ci-après: IFD) de l'année fiscale 2013, année à la fin de laquelle il était domicilié en Valais. Le 9 avril 2015, le Service cantonal des contributions du canton du Valais (ci-après: le Service des contributions) a taxé l'intéressé en ajoutant l'indemnité de 703'000 fr. aux autres revenus imposables de celui-ci pour l'année en cause. X._ a élevé réclamation contre cette décision. A la suite d'une nouvelle décision de taxation du 21 mai 2015, par laquelle le taux d'imposition a été modifié, le contribuable a élevé une nouvelle réclamation. La décision du 21 mai 2015 a été confirmée par le Service des contributions le 25 juin 2015. X._ a interjeté recours contre cette décision sur réclamation le 16 juillet 2015 auprès de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours). Cette autorité, par décision du 14 septembre 2016, a rejeté le recours, confirmant l'imposition de l'indemnité de 703'000 fr. au titre de l'impôt sur le revenu.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler la décision de la Commission de recours du 14 septembre 2016 et de renvoyer la cause à cette autorité pour qu'elle rende une nouvelle décision dans le sens des considérants. Il se plaint d'établissement inexact des faits et de violations du droit fédéral.
Par ordonnance du 8 février 2017, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif.
La Commission de recours, le Service des contributions et l'Administration fédérale des contributions concluent tous trois au rejet du recours. Dans des observations finales, X._ a confirmé ses conclusions.

Considérant en droit :
1.
La Commission de recours a rendu une seule décision valant tant pour l'impôt fédéral direct que pour les impôts cantonal et communal (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers. Comme l'état de fait est identique, les deux causes seront jointes et il sera statué dans un seul arrêt (<ref-law> et 24 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).
2.
Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. <ref-law> [RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; <ref-ruling> consid. 1.3 p. 188 s.). Le recours a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le contribuable destinataire de l'acte attaqué (<ref-law>), de sorte qu'il convient d'entrer en matière.
3.
Sans toutefois citer l'<ref-law>, le recourant se plaint en premier lieu d'établissement inexact des faits.
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Il conduit son raisonnement en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>; <ref-ruling> consid. 4.4.3 p. 156 s.), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 313 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 233 s.). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>).
3.2. Le recourant estime que l'autorité précédente a retenu à tort que le montant de 703'000 fr. constituait une indemnité octroyée pour la renonciation à l'exercice du droit d'usufruit et non pas un remboursement du capital avancé lors de l'acquisition de l'immeuble. Selon lui, la Commission de recours n'a pas suffisamment pris en compte la convention passée entre les concubins le 13 mai 1998, selon laquelle ceux-ci se comporteraient comme copropriétaires de l'immeuble. Il est d'avis que cette convention constitue le fondement de la société simple ayant existé entre eux.
La Commission de recours a retenu que les concubins avaient financé l'immeuble chacun à moitié, mais que l'acte authentique fondant l'indemnité en cause s'intitulait " Rachat de servitude d'usufruit ". Elle a constaté que cet acte ne faisait aucunement mention d'un éventuel remboursement de la somme avancée par le recourant pour l'acquisition du bien, mais qu'il précisait au contraire que celui-ci ne possédait que l'usufruit de la moitié du bien.
3.3. En l'occurrence, c'est sans arbitraire que la Commission de recours a retenu que l'indemnité de 703'000 fr. représentait une contrepartie à l'abandon, par le recourant, de l'usufruit constitué en sa faveur sur la moitié de l'immeuble. Non seulement l'acte authentique du 2 septembre 2013 prévoit la radiation d'un usufruit contre une indemnité de 703'000 fr., mais l'acte notarié du 13 mai 1998 dispose que les concubins ne sont pas copropriétaires, le recourant n'étant qu'usufruitier sur la moitié de l'immeuble. Que ce dernier ait conclu une convention avec sa partenaire est sans pertinence en l'espèce. Au demeurant, le recourant n'explique nullement en quoi le prise en compte de cette convention aurait une quelconque incidence sur l'issue de la cause. Dans ces conditions, le grief d'établissement inexact des faits doit être écarté.
4.
Le litige porte sur le point de savoir quelle est la conséquence fiscale, d'un point de vue de l'IFD, puis de l'ICC, du versement en faveur du contribuable d'une indemnité pour renonciation à un droit d'usufruit sur un immeuble.
I. Impôt fédéral direct
5.
5.1. L'<ref-law> exprime, pour l'imposition du revenu des personnes physiques, le concept de l'accroissement du patrimoine, respectivement de l'imposition du revenu global net (" Reinvermögenszugangs-theorie "). Fondé sur la clause générale de l'<ref-law> et la liste exemplative des art. 17 à 23 LIFD, est ainsi considéré comme revenu imposable tous les revenus du contribuable, qu'ils soient uniques ou périodiques. En font donc également partie, les indemnités obtenues en échange de la renonciation à l'exercice d'un droit (art. 23 let. d LIFD). Les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée (<ref-law>) et les différents cas de figure prévus par la liste exhaustive de l'<ref-law> font par contre exception (<ref-ruling> consid. 2.1 p. 365 s. et les références citées).
5.2. L'accroissement du patrimoine tel que défini à l'<ref-law> consiste en un montant net. Il correspond à l'excédent de l'ensemble des entrées patrimoniales par rapport à l'ensemble des sorties sur une même période fiscale. En d'autres termes, il est question d'accroissement du patrimoine lorsque les entrées dans la fortune du contribuable surpassent le montant des sorties durant la période fiscale en cause (cf. <ref-ruling> consid. 2.2 p. 366 s. et les références citées). Dans la mesure où la comparaison des entrées et des sorties de la fortune privée fait effectivement apparaître un excédant patrimonial, il convient encore de se demander si celui-ci doit être considéré comme un revenu imposable, comme un gain en capital (<ref-law>) ou comme un cas expressément prévu à l'<ref-law>.
5.3. L'exonération des gains en capital privés est une exception au principe de l'imposition d'après la capacité contributive (art. 127 al. 2 Cst.), concrétisé par le principe de l'accroissement du patrimoine. Cette exception a été voulue par le législateur, notamment pour des motifs d'économie de procédure, mais doit être appliquée avec retenue. Dans un système caractérisé par un impôt général sur le revenu, les exceptions doivent être interprétées restrictivement (<ref-ruling> consid. 5.6 p. 204 et les références citées).
A teneur de l'<ref-law>, les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée ne sont pas imposables. L'exception de l'impôt sur les gains immobiliers prévue par le droit cantonal (cf. <ref-law>) n'existe pas au niveau fédéral (BLUMENSTEIN/LOCHER, System des schweizerischen Steuerrechts, 7 e éd. 2016, p. 224 s.; XAVIER OBERSON, Droit fiscal suisse, 4 e éd. 2012, § 13 n. 19). La distinction entre rendement du capital et gain en capital s'opère généralement au moyen du critère de la diminution de la substance patrimoniale. Le bien aliéné quitte la fortune de la personne concernée et en diminue la substance, jusqu'à réception de la contreprestation (<ref-ruling> consid. 2.3 p. 367 et les références citées). Par ailleurs, il faut veiller à différencier l'<ref-law> de l'art. 23 let. d LIFD. Cette dernière disposition, qui prévoit l'imposition de l'indemnité perçue pour la renonciation à l'exercice d'un droit, ne vise pas à imposer les gains en capital issus de la renonciation onéreuse à un bien de la fortune privée et ainsi à contourner l'<ref-law> (arrêt 2C_368/2013 du 2 février 2014 consid. 5.3, in RDAF 2014 II 555; HUNZIKER/MAYER-KNOBEL, in Bundesgesetz über die direkte Bundessteuer, 3 e éd. 2017, Zweifel/Beusch [éd.], n. 16 ad <ref-law>; YVES NOËL, in Impôt fédéral direct, Commentaire de la loi sur l'impôt fédéral direct, 2 e éd. 2017, Noël/Aubry Girardin [éd.], n. 29 ad <ref-law>; XAVIER OBERSON, op. cit., § 7 n. 237; RYSER/ROLLI, Précis de droit fiscal suisse, 4 e éd. 2002, n. 37 p. 180 s.). Pour faire application de l'art. 23 let. d LIFD, il faut donc que l'indemnité ait le caractère d'un revenu, respectivement d'un rendement (arrêt 2C_622/2011 du 29 février 2012 consid. 8.2, in StE 2012 B 21.1 n. 21).
6.
6.1. En l'espèce, il ressort de l'arrêt entrepris que le recourant a obtenu un usufruit sur la moitié d'un immeuble en 1998 et qu'en 2013, l'inscription de cet usufruit a été radiée du registre foncier contre un montant de 703'000 fr., versé par la nue-propriétaire. La Commission de recours a imposé ce montant au titre du revenu sur la base de l'art. 23 let. d LIFD, estimant que le recourant avait renoncé à l'exercice de son droit d'usufruit.
6.2. L'usufruit est un droit réel. C'est plus précisément une servitude personnelle proprement dite, qui est indissolublement liée à la personne de son titulaire. Il est donc incessible et intransmissible (cf. <ref-ruling> consid. 4.2.2 p. 321 s.; arrêt 2C_874/2010 du 12 octobre 2011 consid. 5.3, in RDAF 2011 II 550, StE 2012 B 73.11 n. 1; PAUL-HENRI STEINAUER, Les droits réels, Tome III, 4 e éd. 2012, n. 2403). Selon l'art. 755 al. 1 et 2 CC, l'usufruitier a la possession, l'usage et la jouissance de la chose, et il en a aussi la gestion (cf. <ref-ruling> consid. 3.1 p. 303). L'usufruit des immeubles s'établit par l'inscription au registre foncier (<ref-law>). Il s'éteint par la radiation de cette inscription (<ref-law>). Les causes de l'extinction sont l'échéance du terme, respectivement la renonciation ou la mort de l'usufruitier (art. 748 al. 2 et 749 al. 1 CC). Ces causes d'extinction expriment le caractère intransmissible du droit d'usufruit et sont de droit impératif (PAUL-HENRI STEINAUER, op. cit., n. 2464).
6.3. Tout d'abord, on doit relever que le point de savoir si le recourant a obtenu l'usufruit en s'acquittant d'une somme d'argent (par exemple la moitié du prix d'achat de l'immeuble) ou s'il a fait donation de la moitié de la valeur de l'immeuble à son ancienne concubine, celle-ci lui ayant fait à son tour donation de l'usufruit, n'est pas pertinent pour la présente cause, pas plus que les suites fiscales de l'achat de cet immeuble. Seule est déterminante la situation en 2013, lors de la renonciation du recourant à son usufruit, la radiation de ce droit du registre foncier et le versement de l'indemnité de 703'000 fr.
6.4. En application de la théorie de l'accroissement du patrimoine telle que développée précédemment (cf. consid. 5.2 ci-dessus), le recourant disposait, au début de l'année fiscale 2013, de l'usufruit en cause dans sa fortune (cf. à ce propos l'<ref-law> qui prévoit, au niveau cantonal, l'imposition de la fortune grevée d'usufruit auprès de l'usufruitier et pas auprès du nu-propriétaire). Cet usufruit avait une certaine valeur. Si, en raison de son incessibilité, l'usufruit ne peut pas être objet de commerce et n'a par conséquent pas de valeur vénale (arrêt 2C_874/2010 du 12 octobre 2011 consid. 5.3 et la référence citée), sa valeur pour l'usufruitier peut être établie en capitalisant, en fonction de la durée probable du droit, le montant produit par la jouissance de l'objet grevé pendant un an. Pour ce faire, on tient compte, si l'usufruit est viager comme c'est le cas en l'espèce, de la durée présumable qu'il aura au vu de l'âge de l'usufruitier (cf. PAUL-HENRI STEINAUER, op. cit., n. 2406). Deux situations sont alors envisageables. Soit le montant de l'indemnité est inférieur ou égal à la valeur de l'usufruit, soit il en est supérieur. Dans ce dernier cas de figure, la différence existant entre la valeur de l'usufruit et le montant auquel celui-ci a été cédé représente un accroissement du patrimoine du recourant.
6.5. L'autorité précédente n'a toutefois pas déterminé la valeur de l'usufruit en 2013, lorsque le recourant y a renoncé. Il n'est donc pas possible de savoir si celui-ci a vu sa fortune privée augmenter. Cependant, cette question peut demeurer indécise dans la mesure où, en application de l'<ref-law>, l'accroissement éventuel du patrimoine du recourant ne saurait être imposé.
En effet, contrairement à l'avis de la Commission de recours, la renonciation par le recourant à son droit d'usufruit ne doit pas être envisagée sous l'angle de l'art. 23 let. d LIFD. Le recourant n'a pas perçu un revenu, respectivement un rendement lors de la renonciation à son droit d'usufruit (cf. arrêt 2C_622/2011 du 29 février 2012 consid. 8.2), mais a uniquement diminué son patrimoine d'un élément ayant une certaine valeur contre une somme d'argent. Le fait qu'il n'ait pas aliéné son droit (ce qu'il ne pouvait de toute façon pas faire) comme le prévoit la lettre de l'<ref-law>, mais l'ait abandonné n'y change rien (cf. RYSER/ROLLI, op. cit. n. 37 p. 180 s.). Ainsi, dans la mesure où l'abandon du droit d'usufruit venait à augmenter la fortune du recourant, cette augmentation devrait donc être appréhendée sous l'angle d'un gain en capital et pas d'un revenu soumis à l'impôt.
6.6. C'est donc en violation du droit que la Commission de recours a ajouté le montant de 703'000 fr. au revenu du recourant. Le recours, en tant qu'il porte sur l'impôt fédéral direct de l'année fiscale 2013, doit donc être admis et l'arrêt entrepris annulé. La cause est renvoyée au Service des contributions, afin qu'il détermine le montant d'IFD dû par le recourant, sans tenir compte du montant de 703'000 fr. précité.
II. Impôts cantonal et communal
7.
7.1. Les art. 12 et 19 let. c de la loi fiscale valaisanne du 10 mars 1976 (LF/VS; RSVS 642.1) sont libellés de manière identique aux art. 16 et 23 let. d LIFD. La jurisprudence rendue en matière d'impôt fédéral direct est en principe également valable pour l'application des dispositions cantonales harmonisées correspondantes (<ref-ruling> consid. 10 p. 101 s. et les références citées).
7.2. On relèvera toutefois que l'ICC connaît un régime spécial s'agissant des gains en capital issus de l'aliénation d'immeubles faisant partie de la fortune privée (<ref-law>; art. 44 ss LF/VS). L'art. 12 al. 3 LF/VS, qui concerne l'exonération des gains en capital privé, réserve d'ailleurs expressément l'imposition distincte des gains immobiliers. Ainsi, un impôt sur les gains immobiliers est prélevé sur les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable ou d'un immeuble agricole ou sylvicole, à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (<ref-law>; art. 44 al. 1 et 48 al. 1 LF/VS). Aux termes de l'art. 12 al. 2 let. c LHID, respectivement de l'art. 45 al. 2 let. c LF/VS, est assimilée à l'aliénation d'un immeuble, la constitution de servitudes de droit privé sur un immeuble ou les restrictions de droit public à la propriété foncière, lorsque celles-ci limitent l'exploitation ou diminuent la valeur vénale de l'immeuble, de manière durable et essentielle, et donnent lieu à une indemnité.
En l'occurrence, l'usufruit n'est pas un immeuble au sens du droit civil (cf. art. 655 al. 2 ch. 2 et al. 3 ch. 1 CC a contrario). Il n'est toutefois pas exclu que la législation et la pratique valaisannes le considèrent comme tel d'un point de vue fiscal, dès lors que la constitution d'une servitude de droit privé (tel l'usufruit) est assimilée à une aliénation d'immeuble et engendre une imposition en cas de gain (cf. GABRIEL RUMO, Die Liegenschaftsgewinn- und die Mehrwertsteuer des Kantons Freiburg, thèse Fribourg 1993, p. 69). Pour le cas d'espèce, le sort à réserver à cette question peut cependant demeurer indécis. En effet, s'il fallait considérer l'indemnité pour la renonciation du droit d'usufruit par le recourant comme un gain immobilier et pas comme un gain en capital exonéré (art. 12 al. 3 LF/VS), celui-ci devrait être imposé au lieu de situation de l'immeuble (cf. <ref-law>; art. 3 al. 1 let. c LF/VS), c'est-à-dire dans le canton de Genève, ce qui exclut d'emblée une imposition par le canton du Valais. Connaître le sort réservé en droit genevois à ce type de situation ne fait pas partie du litige (<ref-ruling> consid. 4.4.2 p. 156).
7.3. Sur le vu de ce qui précède, le recours doit également être admis en tant qu'il concerne les impôts cantonal et communal de l'année fiscale 2013. L'arrêt entrepris est annulé et la cause renvoyée au Service des contributions, afin que celui-ci détermine le montant d'ICC dû par le recourant, sans tenir compte, dans le revenu de celui-ci, du montant de 703'000 fr. d'indemnité perçu en compensation du droit d'usufruit.
8.
Les frais judiciaires sont mis à la charge du canton du Valais, dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF). Le canton du Valais doit en outre verser au recourant une indemnité à titre de dépens (cf. <ref-law>). La Commission de recours procédera à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_82/2017 et 2C_83/2017 sont jointes.
2.
Le recours est admis en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est admis en tant qu'il concerne les impôts cantonal et communal.
4.
L'arrêt rendu le 14 septembre 2016 par la Commission de recours est annulé. La cause est renvoyée au Service des contributions pour nouvelle décision dans le sens des considérants.
5.
Les frais judiciaires, arrêtés à 6'500 fr., sont mis à la charge du canton du Valais.
6.
Le canton du Valais versera au recourant une indemnité de 6'500 fr. à titre de dépens.
7.
La cause est renvoyée à la Commission de recours pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
8.
Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions et à la Commission cantonale de recours en matière fiscale du canton du Valais, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 21 juin 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette