Citation: 2C_419/2020 E. A

A.a. A.________, né le 23 juin 1941, est domicilié à C.________. Ingénieur civil de profession, il a notamment été administrateur-secrétaire de la société D.________ SA jusqu'à la liquidation de celle-ci en 2010. Cette société avait pour but les travaux de démolition, de génie civil et du bâtiment, le transport de sable, de gravier et de matériaux dans le domaine de la construction, l'achat, la vente, la gérance et la location de biens immobiliers, ainsi que la promotion immobilière. A.b. En 1978, A.________ a acquis la parcelle no **** du cadastre de la commune de E.________. En 1980, dans le cadre d'un partage, la parcelle a été attribuée en propriété commune à A.________ et F.________, entrepreneur indépendant dans le domaine du génie civil, du bâtiment et de l'industrie. En 1981, une maison d'habitation et un garage ont été construits sur cette parcelle et ont ensuite été mis en location. L'immeuble était alors grevé d'une hypothèque à hauteur de 53 % de sa valeur. Le 25 février 2016, A.________ et F.________ ont vendu leur bien immobilier à G.________, pour un prix de 2'870'000 fr., la part revenant à A.________ s'élevant ainsi à 1'435'000 fr. En 1979, A.________, F.________ et H.________, qui travaillait au sein d'un bureau d'architecte, ont acquis la parcelle no **** du cadastre de la commune de C.________. En 1987, une villa, un jardin d'hiver et un garage ont été construits sur cette parcelle. Le coût des travaux s'est élevé à 681'365 fr., l'immeuble étant alors grévé d'une hypothèque à hauteur de 650'000 fr. La construction, en 2002, d'une piscine, d'un local de filtration et d'un vestiaire a pour sa part coûté 124'038 fr. A la suite de deux actes de partage, intervenus en 1986 et en 2010, A.________est devenu seul propriétaire de l'immeuble. Le 8 mai 2014, il l'a vendu à IJ.________ et JJ.________, pour un prix de 2'600'000 fr. A.c. Le 11 mai 2015, A.________ a remis sa déclaration fiscale 2014 à l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale). La déclaration faisait notamment état d'un revenu imposable de 340'487 fr. pour les impôts cantonal et communal (ci-après: ICC) et de 350'289 fr. pour l'impôt fédéral direct (ci-après: IFD). Le 8 juin 2017, A.________ a déposé sa déclaration fiscale 2016. Celle-ci faisait notamment état d'un revenu imposable de 288'413 fr. pour l'ICC et de 311'302 fr. pour l'IFD (art. 105 al. 2 LTF).