Faits :
A.
A.a. A._, né le 23 juin 1941, est domicilié à C._. Ingénieur civil de profession, il a notamment été administrateur-secrétaire de la société D._ SA jusqu'à la liquidation de celle-ci en 2010. Cette société avait pour but les travaux de démolition, de génie civil et du bâtiment, le transport de sable, de gravier et de matériaux dans le domaine de la construction, l'achat, la vente, la gérance et la location de biens immobiliers, ainsi que la promotion immobilière.
A.b. En 1978, A._ a acquis la parcelle no **** du cadastre de la commune de E._. En 1980, dans le cadre d'un partage, la parcelle a été attribuée en propriété commune à A._ et F._, entrepreneur indépendant dans le domaine du génie civil, du bâtiment et de l'industrie. En 1981, une maison d'habitation et un garage ont été construits sur cette parcelle et ont ensuite été mis en location. L'immeuble était alors grevé d'une hypothèque à hauteur de 53 % de sa valeur. Le 25 février 2016, A._ et F._ ont vendu leur bien immobilier à G._, pour un prix de 2'870'000 fr., la part revenant à A._ s'élevant ainsi à 1'435'000 fr.
En 1979, A._, F._ et H._, qui travaillait au sein d'un bureau d'architecte, ont acquis la parcelle no **** du cadastre de la commune de C._. En 1987, une villa, un jardin d'hiver et un garage ont été construits sur cette parcelle. Le coût des travaux s'est élevé à 681'365 fr., l'immeuble étant alors grévé d'une hypothèque à hauteur de 650'000 fr. La construction, en 2002, d'une piscine, d'un local de filtration et d'un vestiaire a pour sa part coûté 124'038 fr. A la suite de deux actes de partage, intervenus en 1986 et en 2010, A._est devenu seul propriétaire de l'immeuble. Le 8 mai 2014, il l'a vendu à IJ._ et JJ._, pour un prix de 2'600'000 fr.
A.c. Le 11 mai 2015, A._ a remis sa déclaration fiscale 2014 à l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale). La déclaration faisait notamment état d'un revenu imposable de 340'487 fr. pour les impôts cantonal et communal (ci-après: ICC) et de 350'289 fr. pour l'impôt fédéral direct (ci-après: IFD).
Le 8 juin 2017, A._ a déposé sa déclaration fiscale 2016. Celle-ci faisait notamment état d'un revenu imposable de 288'413 fr. pour l'ICC et de 311'302 fr. pour l'IFD (<ref-law>).
B.
B.a. Le 10 novembre 2017, l'Administration cantonale a notifié à A._ les bordereaux de taxation 2014 pour l'ICC et l'IFD. Pour ce qui intéresse la présente cause, cette autorité a en particulier retenu un revenu imposable de 1'837'019 fr. au taux de 1'838'242 fr. pour l'ICC et un revenu imposable de 1'841'000 fr. au taux de 1'843'500 fr. pour l'IFD. L'Administration cantonale a notamment considéré que le bénéfice de 1'496'426 fr. retiré de la vente de l'immeuble sis à C._ (supra let. A.b) constituait un revenu provenant de l'exercice d'une activité lucrative indépendante.
Le 12 février 2018, l'Administration cantonale a notifié à A._ les bordereaux de taxation 2016 pour l'ICC et l'IFD. Pour ce qui intéresse la présente cause, cette autorité a en particulier retenu un revenu imposable de 1'304'067 fr. au taux de 1'319'305 fr. pour l'ICC et un revenu imposable de 1'327'200 fr. au taux de 1'333'700 fr. pour l'IFD. L'Administration cantonale a notamment considéré que le bénéfice de 1'009'262 fr. dégagé de la vente de l'immeuble sis à E._ (supra let. A.b) constituait un revenu provenant de l'exercice d'une activité lucrative indépendante.
B.b. Par réclamations des 4 décembre 2017 et 7 mars 2018, A._ a contesté les bordereaux 2014 et 2016 établis par l'Administration cantonale. Par décisions du 21 novembre 2018, cette autorité a partiellement admis les réclamations sur des points qui ne concernent pas l'objet de la présente cause. Elle a toutefois maintenu sa position quant au bénéfice retiré de la vente des immeubles de C._ et E._, qu'elle a considéré comme étant le produit d'une activité lucrative indépendante.
B.c. Le 14 décembre 2018, A._ a recouru contre les décisions sur réclamation du 21 novembre 2018 auprès du Tribunal administratif de première instance du canton de Genève (ci-après: le TAPI), soutenant que les ventes immobilières précitées ne relevaient pas d'une activité lucrative indépendante. Par jugement du 16 décembre 2019, le TAPI a rejeté les recours.
B.d. Le 10 janvier 2020, A._ a recouru auprès de la Cour de justice du canton de Genève (ci-après: la Cour de justice) contre le jugement du TAPI. Par arrêt du 16 avril 2020, la Cour de justice a rejeté le recours.
C.
A l'encontre de l'arrêt du 16 avril 2020, A._ dépose un "recours" auprès du Tribunal fédéral. Il conclut (implicitement) à l'annulation de l'arrêt entrepris et demande en substance qu'il soit procédé à une nouvelle taxation pour l'ICC et l'IFD 2014 et 2016 n'incluant pas dans son revenu imposable le bénéfice retiré de la vente des immeubles de C._ et E._.
L'Administration cantonale dépose des observations et conclut au rejet du recours. L'Administration fédérale des contributions se rallie à l'arrêt attaqué et propose le rejet du recours. La Cour de justice renonce à transmettre des observations et persiste dans les considérants et le dispositif de son arrêt. Le recourant a répliqué.

Considérant en droit :
1.
La Cour de justice a rendu un seul arrêt valant tant pour l'ICC que pour l'IFD, ce qui est en principe admissible, dès lors qu'il ressort clairement dudit arrêt et du recours que le litige porte sur les deux catégories d'impôts (arrêt 2C_444/2018 du 31 mai 2019 consid. 1).
2.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
2.1. Le recourant a déclaré former un "recours" auprès du Tribunal fédéral. Cette désignation imprécise ne saurait lui nuire à condition que le recours remplisse les exigences légales de la voie de droit qui lui est ouverte (<ref-ruling> consid. 1.1 p. 370).
2.2. En l'occurrence, l'arrêt attaqué porte sur le calcul du revenu imposable du contribuable pour les années fiscales 2014 et 2016, tant en matière d'ICC que d'IFD. La cause relève ainsi du droit public (<ref-law>) et ne tombe pas sous le coup des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc ouverte (cf. également les art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] et 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]), l'arrêt entrepris étant une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF).
2.3. Au surplus, déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le contribuable destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (<ref-law>), le présent recours est recevable.
3.
D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (arrêt 2C_826/2015 du 5 janvier 2017 consid. 2, non publié in <ref-ruling>).
Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (arrêts 2C_292/2020 du 19 juin 2020 consid. 3.1 et 2C_869/2017 du 7 août 2018 consid. 2.1).
4.
Le recourant mentionne le droit à l'égalité de traitement, l'interdiction de la discrimination, un déni de justice et une "problématique anticonstitutionnelle" (recours, p. 2 s.), sans toutefois que l'on puisse discerner dans son raisonnement un grief conforme aux exigences de motivation accrues posées par l'<ref-law> s'agissant de la la violation de droits fondamentaux (cf. consid. 3 ci-dessus). Ces critiques n'ont donc pas à être examinées plus avant. Il en va de même des griefs - formulés au demeurant de manière peu claire - relatifs à une prétendue "violation du secret fiscal" de la part de l'Administration cantonale en lien avec la transmission d'un bordereau de pièces à la Cour de justice, que le recourant soulève uniquement dans sa réplique du 23 juillet 2020 et qui sont donc tardifs.
I. Impôt fédéral direct
5.
Le litige porte sur le point de savoir si c'est à bon droit que la Cour de justice a confirmé l'imposition du bénéfice dégagé en 2014 et en 2016 de la vente des immeubles de C._ et E._ en tant que revenu provenant de l'exercice d'une activité lucrative indépendante.
5.1. Selon le recourant, il serait arbitraire de se fonder sur le seul fait qu'il a "une profession proche ou lointaine du domaine de l'immobilier" (recours, p. 2) pour qualifier le bénéfice retiré des ventes immobilières litigieuses de produit d'une activité lucrative indépendante. Le contribuable fonde en outre son argumentation sur l'arrêt 9C_987/2010 rendu par le Tribunal fédéral le 22 juin 2011.
5.2. L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (<ref-law>). Sont exonérés d'impôt, selon l'<ref-law>, les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée. L'<ref-law> prévoit que sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante. Font partie des revenus provenant de l'activité lucrative indépendante, selon l'<ref-law>, tous les bénéfices en capital provenant de l'aliénation, de la réalisation ou de la réévaluation comptable d'éléments de la fortune commerciale.
5.3. De jurisprudence constante, la distinction entre un gain privé en capital (non imposable sur le revenu) et un bénéfice commercial en capital provenant de l'exercice d'une activité lucrative indépendante (imposable sur le revenu), dépend des circonstances concrètes du cas. La notion d'activité lucrative indépendante s'interprète largement, de telle sorte que sont seuls considérés comme des gains privés en capital exonérés de l'impôt sur le revenu ceux qui sont obtenus par un particulier de manière fortuite ou dans le cadre de la simple administration de sa fortune privée (cf. arrêts 2C_18/2018 du 18 juin 2018 consid. 3.1; 2C_228/2015 du 7 juin 2016 consid. 6.3; 2C_1276/2012 du 24 octobre 2013 consid. 4.2; 2C_834/2012 du 19 avril 2013 consid. 5.5). En revanche, si l'activité du contribuable excède ce cadre relativement étroit et est orientée dans son ensemble vers l'obtention d'un revenu, l'intéressé est réputé exercer une activité lucrative indépendante dont les bénéfices en capital sont imposables. Une telle qualification peut se justifier, selon les cas, même en l'absence d'une activité reconnaissable pour les tiers et/ou organisée sur le modèle d'une entreprise commerciale, et même si cette activité n'est exercée que de manière accessoire ou temporaire, voire même ponctuelle (cf. arrêts 2C_228/2015 du 7 juin 2016 consid. 6.3; 2C_818/2012 du 21 mars 2013 consid. 6.1; 2C_786/2012 du 1er mars 2013 consid. 3.1; voir déjà <ref-ruling> consid. 5e p. 123).
C'est avant tout en lien avec les transactions effectuées par les particuliers sur des immeubles ou sur des titres que la jurisprudence a été amenée à dégager des critères permettant de tracer la limite entre les gains (privés) en capital exonérés et les bénéfices (commerciaux) en capital imposables. Elle a notamment considéré que valent comme indices d'une activité lucrative indépendante dépassant la simple administration de la fortune privée les éléments suivants: le caractère systématique et/ou planifié des opérations, la fréquence élevée des transactions, la courte durée de possession des biens avant leur revente, la relation étroite entre l'activité indépendante (accessoire) supposée et la formation et/ou la profession (principale) du contribuable, l'utilisation de connaissances spécialisées, l'engagement de fonds étrangers d'une certaine importance pour financer les opérations, le réinvestissement du bénéfice réalisé ou encore la constitution d'une société de personnes (cf. arrêts 2C_551/2018 du 11 juin 2019 consid. 2.1.3; 2C_18/2018 du 18 juin 2018 consid. 3.1; 2C_228/2015 du 7 juin 2016 consid. 6.3; 2C_42/2015 du 10 septembre 2015 consid. 2.2; 2C_929/2014 du 10 août 2015 consid. 4.1; 2C_1276/2012 du 24 octobre 2013 consid. 4.2). Parmi les indices permettant, de manière générale, de distinguer entre activité indépendante et gestion privée, on peut mentionner l'utilisation effective du bien et le motif de son aliénation (arrêts 2C_1276/2012 du 24 octobre 2013 consid. 4.2 et 2C_834/2012 du 19 avril 2013 consid. 5.5). Chacun de ces indices peut conduire, en concours avec les autres voire même - exceptionnellement - isolément s'il revêt une intensité particulière, à la reconnaissance d'une activité lucrative indépendante (arrêts 2C_423/2019 du 25 novembre 2019 consid. 4.1 et 2C_228/2015 du 7 juin 2016 consid. 6.3). En outre, l'absence d'éléments typiques d'une telle activité dans un cas concret peut être relativisée par d'autres indices revêtant une intensité particulière. En tout état, les circonstances concrètes du cas sont déterminantes, telles qu'elles se présentent au moment de l'aliénation (arrêts 2C_423/2019 du 25 novembre 2019 consid. 4.1 et 2C_1007/2016 du 28 mars 2017 consid. 3.5).
5.4. En l'occurrence, contrairement à l'opinion du contribuable, les circonstances démontrent que les bénéfices litigieux doivent être qualifiés de revenus provenant de l'exercice d'une activité lucrative indépendante.
5.4.1. Le seul élément qui plaide en faveur de la qualification des bénéfices réalisés par le recourant comme gain en capital privé est l'intervalle de temps entre l'achat et la vente des immeubles: 38 ans (1978-2016) pour l'immeuble de E._ et 35 ans (1979-2014) pour celui de C._.
5.4.2. Cet élément est contrebalancé par d'autres indices. Selon les faits constatés dans l'arrêt attaqué, le contribuable était très actif dans le domaine de l'immobilier, ayant personnellement pris part à quarante-deux opérations immobilières (cf. arrêt entrepris, p. 3 et 13). En outre, le recourant n'a pas participé seul aux projets immobiliers de E._ et de C._, mais en partenariat avec des professionnels de l'immobilier. En effet, la maison et le garage édifiés sur la parcelle de E._ ont été construits en 1981, alors que l'immeuble appartenait en propriété commune à A._ et F._, qui était entrepreneur indépendant dans le domaine du génie civil, du bâtiment et de l'industrie. Quant à la parcelle de Veyrier, elle a été achetée en 1979 par A._, F._ et H._ (qui travaillait au sein d'un bureau d'architecte). Celui-ci ayant cédé sa part lors d'un acte de partage intervenu en 1986, les travaux de construction de 1987 et 2002 ont été décidés par A._ et F._, soit par des personnes actives professionnellement dans l'immobilier. Il sied aussi de relever que le recourant n'a pas participé à ces affaires immobilières pour ses besoins purement privés, n'ayant jamais habité dans un des bâtiments en question. Finalement, concernant les capacités professionnelles de l'intéressé et ses connaissances spécialisées en matière d'immeubles, celles-ci sont attestées par sa formation d'ingénieur civil, par le nombre d'opérations immobilières (quarante-deux) auxquelles il a pris part et par son activité en tant qu'administrateur-secrétaire au sein de la société D._ SA, qui avait pour but notamment la promotion immobilière.
5.4.3. L'arrêt 9C_987/2010 du 22 juin 2011, invoqué par le recourant, concerne une situation qui n'est pas comparable à la présente affaire. En particulier, dans cet arrêt, le litige portait sur la qualification d'un revenu locatif sous l'angle de l'AVS et non pas sur le traitement fiscal d'un bénéfice dégagé d'une vente immobilière. En outre, l'immeuble en question n'avait pas été acheté dans le cadre d'un partenariat avec des professionnels de l'immobilier et la contribuable n'avait pas participé à d'autres opérations immobilières. Il en découle que le recourant ne peut rien déduire dudit arrêt.
5.5. Compte tenu de l'ensemble des circonstances, les bénéfices réalisés par le contribuable lors de la vente des immeubles de E._ et de C._ ne peuvent être qualifiés de gains en capital privés, obtenus de manière fortuite dans le cadre de la simple administration de la fortune privée, comme le soutient le recourant. Partant, en qualifiant les opérations litigieuses de commerciales, la Cour de justice - qui ne s'est au demeurant nullement fondée uniquement sur la profession du contribuable, comme celui-ci affirme à plusieurs reprises dans son recours - n'a pas violé le droit fédéral applicable, interprété à l'aune de la jurisprudence, étant au surplus rappelé que la notion d'activité lucrative indépendante s'interprète largement (cf. supra consid. 5.3).
6.
Il ressort de ce qui précède que le recours doit être rejeté s'agissant de l'impôt fédéral direct pour les périodes fiscales 2014 et 2016.
II. Impôt cantonal et communal
7.
La jurisprudence rendue en matière d'impôt fédéral direct au sujet de la distinction entre un bénéfice provenant de l'exercice d'une activité lucrative indépendante et un gain privé en capital est également déterminante en ce qui concerne les impôts cantonal et communal, car l'art. 8 al. 1 et 2 LHID (repris à l'art. 19 al. 2 et 3 de la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques [LIPP/GE; RS/GE D 3 08]) correspond à l'<ref-law> (cf. arrêts 2C_228/2015 du 7 juin 2016 consid. 6.2 in fineet 2C_455/2011 du 5 avril 2012 consid. 8). Il peut ainsi être renvoyé, au sujet des impôts cantonal et communal, à la motivation développée en matière d'impôt fédéral direct. Le recours doit par conséquent aussi être rejeté s'agissant des impôts cantonal et communal pour les périodes fiscales 2014 et 2016.
III. Conclusion; frais et dépens
8.
En résumé, le recours doit être rejeté tant en ce qui concerne l'IFD que l'ICC 2014 et 2016. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en ce qui concerne l'impôt fédéral direct 2014 et 2016.
2.
Le recours est rejeté en ce qui concerne les impôts cantonal et communal 2014 et 2016.
3.
Les frais judiciaires, arrêtés à 7'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au représentant du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 4ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 23 novembre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Ermotti