Faits : A. X._ a vécu en concubinage durant plusieurs années. Par acte notarié du 13 mai 1998, la concubine de l'intéressé a acquis la pleine propriété de la moitié d'un immeuble à Genève et la nue-propriété de la seconde moitié. Dans le même acte, X._ a été constitué usufruitier de cette seconde moitié. Les concubins ont financé chacun à moitié l'achat de l'immeuble. Par acte authentique du 2 septembre 2013, à la suite de leur séparation, ils ont fait radier la servitude d'usufruit grevant la moitié de l'immeuble. X._ a reçu de son ex-concubine une indemnité de 703'000 fr. en compensation. B. Le 26 mars 2014, X._ a déposé sa déclaration d'impôt pour les impôts cantonal et communal (ci-après: ICC) et pour l'impôt fédéral direct (ci-après: IFD) de l'année fiscale 2013, année à la fin de laquelle il était domicilié en Valais. Le 9 avril 2015, le Service cantonal des contributions du canton du Valais (ci-après: le Service des contributions) a taxé l'intéressé en ajoutant l'indemnité de 703'000 fr. aux autres revenus imposables de celui-ci pour l'année en cause. X._ a élevé réclamation contre cette décision. A la suite d'une nouvelle décision de taxation du 21 mai 2015, par laquelle le taux d'imposition a été modifié, le contribuable a élevé une nouvelle réclamation. La décision du 21 mai 2015 a été confirmée par le Service des contributions le 25 juin 2015. X._ a interjeté recours contre cette décision sur réclamation le 16 juillet 2015 auprès de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours). Cette autorité, par décision du 14 septembre 2016, a rejeté le recours, confirmant l'imposition de l'indemnité de 703'000 fr. au titre de l'impôt sur le revenu. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler la décision de la Commission de recours du 14 septembre 2016 et de renvoyer la cause à cette autorité pour qu'elle rende une nouvelle décision dans le sens des considérants. Il se plaint d'établissement inexact des faits et de violations du droit fédéral. Par ordonnance du 8 février 2017, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif. La Commission de recours, le Service des contributions et l'Administration fédérale des contributions concluent tous trois au rejet du recours. Dans des observations finales, X._ a confirmé ses conclusions.