Faits:
A.
A.A._ est le fils de B.A._ décédé à Genève le 7 décembre 1999 à l'âge de 85 ans. De son vivant, feu B.A._ exploitait une entreprise du bâtiment, sous la raison sociale « X.A._ ». Il était architecte de profession. Sa société était inscrite au registre du commerce comme entreprise de travaux publics. Elle avait son siège à Y._.
En 1999, feu B.A._ était propriétaire de parts de sociétés immobilières (ci-après : SI), propriétaire en nom ou copropriétaire de dix-neuf immeubles locatifs évalués à son décès à environ cent millions de francs. Du vivant de feu B.A._, ces immeubles étaient exploités à des fins locatives. Leur gestion était confiée à des régies de la place.
Dans les déclarations fiscales 1997 et 1998 adressées par ce dernier à l'Administration fiscale cantonale, ces biens avaient été déclarés dans la fortune et les revenus de la fortune privés. Ils n'avaient pas été activés dans les bilans et les comptes de pertes et profits des mois de décembre 1997 et 1998 de l'entreprise.
Dans son testament, feu B.A._, qui était veuf, a dévolu ses biens à ses deux fils à parts égales. Il a clairement distingué, dans ses dernières volontés, l'entreprise X.A._ des immeubles qu'il possédait. Le 7 novembre 2001, le service des successions de l'Administration fiscale cantonale a procédé à une estimation de l'entreprise, dans laquelle ne figurait aucun des immeubles précités comme immeubles commerciaux.
Le 12 juillet 2000, les héritiers ont signé un premier acte de partage partiel portant sur la propriété de l'entreprise X.A._ dont la valeur a été fixée à 3'616'763 fr. 75, l'attribuant au contribuable, son frère ayant bénéficié d'un versement compensatoire. Aucun immeuble n'est mentionné dans l'acte comme faisant partie de l'entreprise. En janvier 2001, les héritiers se sont partagé la plupart des immeubles. Le contribuable s'est vu attribuer la propriété de huit immeubles. Certains immeubles dont feu B.A._ ne possédait que des parts de copropriété n'ont pas été partagés et sont restés en indivision, ainsi que celui qui était en travaux à la date du partage.
Peu après ce partage, le contribuable s'est attelé à la liquidation de l'entreprise, car il ne souhaitait pas la conserver. Les immeubles dont il avait hérité ont continué à être gérés par des agents immobiliers. Souhaitant également s'en séparer, il les a progressivement mis en vente par l'entremise de courtiers professionnels.
En 2004, le contribuable a vendu cinq immeubles. En 2005, il a vendu trois parcelles dont il était propriétaire pour 370/1000 ainsi que trois autres parcelles.
Fin 2005, il a déposé sa déclaration fiscale 2004. Les immeubles dont il était encore propriétaire étaient signalés comme immeubles non commerciaux.
En 2006, le contribuable a vendu l'entreprise, après l'avoir transformée en société anonyme. Aucun des immeubles hérités n'a été intégré aux actifs de cette société, bien que celle-ci ait conservé son siège dans l'un des immeubles attribué au contribuable.
B.
Le 11 mai 2007, l'Administration fiscale cantonale a notifié au contribuable ses bordereaux pour l'impôt cantonal et communal et pour l'impôt fédéral direct 2004. Elle a intégré au bénéfice net de l'activité indépendante, au titre de l'impôt fédéral et cantonal sur le revenu, le bénéfice de 1'160'679 fr. réalisé sur la vente d'immeubles en 2004, considérant que ces biens faisaient partie de sa fortune commerciale.
Par réclamation du 11 juin 2007, le contribuable a contesté la qualification professionnelle du bénéfice réalisé sur la vente des immeubles. L'Administration fiscale cantonale a rejeté cette réclamation par décisions du 10 mai 2010.
C.
Le 25 septembre 2007, l'Administration fiscale cantonale a notifié au contribuable ses bordereaux pour l'impôt cantonal et communal et pour l'impôt fédéral direct 2005. Elle a intégré au bénéfice net de l'activité indépendante, au titre de l'impôt fédéral et cantonal sur le revenu, le bénéfice de 609'087 fr. réalisé sur la vente d'immeubles en 2005, considérant que ces biens faisaient partie de sa fortune commerciale.
Par réclamation du 19 octobre 2007, le contribuable a contesté la qualification professionnelle du bénéfice réalisé sur la vente des immeubles. L'Administration fiscale cantonale a partiellement admis la réclamation par décisions du 18 octobre 2010. Le bénéfice sur la vente d'un immeuble réalisée lors de la liquidation d'une SI devait être attribué à la fortune privée, le produit de la vente des autres immeubles constituaient un bénéfice d'activité indépendante. Le revenu soumis à l'impôt cantonal 2005 s'élevait à 1'264'354 fr. et la fortune à 45'824'204 fr.
D.
Par acte du 21 juin 2010, A.A._ a recouru auprès de la Commission cantonale de recours en matière administrative, devenue depuis le 1er janvier 2011 le Tribunal administratif de première instance, contre les décisions sur réclamation de l'Administration fiscale cantonale du 10 mai 2010 portant sur la période fiscale 2004. Il n'a pas contesté, à cette occasion, les faits retenus par l'Administration fiscale cantonale dans les décisions attaquées (utilisation par feu B.A._ de son entreprise pour effectuer les travaux de construction, rénovation et entretien des immeubles, etc).
De même, par acte du 18 novembre 2010, il a recouru contre les décisions sur réclamation de l'Administration fiscale cantonale du 18 octobre 2010 portant sur la période fiscale 2005. Sur demande de production du dossier fiscal du père du contribuable par le Tribunal administratif de première instance, l'Administration fiscale cantonale a indiqué qu'elle l'avait détruit en 2000. Elle disposait toutefois des déclarations 1998 et 1999 de feu B.A._, ainsi que de documents attestant que trois ventes d'immeubles - dont l'une effectuée en consortium - réalisées par l'entreprise X.A._ en 1979, 1987 et 1994 avaient été taxées comme professionnelles. Elle produisait par ailleurs plusieurs requêtes d'autorisation de construire déposées en lien avec les immeubles de feu B.A._, qui démontraient la nature professionnelle des opérations immobilières faites sur les immeubles concernés.
Par jugements du 18 juillet 2012, le Tribunal administratif de première instance a rejeté les recours.
Par acte du 13 septembre 2012, A.A._ a interjeté recours en matière d'impôt fédéral direct et en matière d'impôt cantonal et communal auprès de la Cour de justice du canton de Genève contre les jugements du 18 juillet 2012.
E.
Par arrêts du 8 octobre 2013 s'agissant de la période fiscale 2005 et du 29 octobre 2013 s'agissant de la période fiscale 2004, la Cour de justice a rejeté les recours en tant qu'ils concernaient l'impôt cantonal et communal des périodes fiscales 2004 et 2005 et les a déclarés irrecevables, parce que tardifs, en tant qu'ils concernaient l'impôt fédéral direct des périodes fiscales 2004 et 2005. Feu B.A._ exerçait une activité en tant qu'entrepreneur du bâtiment, au travers de l'entreprise générale X.A._. Il était non seulement entrepreneur, mais architecte de profession. Saisissant les occasions qui s'offraient à lui dans le cadre de son activité professionnelle, il avait acheté au fil des ans des immeubles ou des terrains, qu'il avait rénovés ou construits non dans l'optique de les vendre mais de les louer, pour augmenter sa fortune. Il s'était servi des ressources de son entreprise pour valoriser à moindre frais les bâtiments et les terrains qu'il achetait, comme le montraient les copies de requêtes d'autorisation de construire versées à la procédure, dans lesquelles il apparaissait comme architecte ou entrepreneur de projets de rénovation, d'entretien ou de construction portant sur ses propres immeubles. Ces différents faits et indices (acquisition des immeubles à une période où feu B.A._ exerçait les professions d'architecte et d'entrepreneur, travaux de rénovation, d'entretien et de construction effectués par sa propre entreprise, absence de facturation de ces travaux à l'entreprise, soit prise en charge par celle-ci des frais correspondants), plaidaient en faveur de la nature commerciale des immeubles. Ces immeubles étaient demeurés commerciaux dans le patrimoine du contribuable, qui avait accepté la poursuite de ce statut fiscal en s'abstenant de formuler une déclaration de transfert dans sa fortune privée.
F.
Agissant le 18 novembre 2013 par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, enregistré sous le numéro d'ordre 2C_1081/2013, A.A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 8 octobre 2013 par la Cour de justice du canton de Genève en matière d'impôt cantonal et communal 2005 et de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Il se plaint de la violation de l'art. 8 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14) ainsi que des art. 9, 29 et 30 Cst.
Par mémoire du 9 décembre 2013, enregistré sous le numéro d'ordre 2C_1164/2013, A.A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 29 octobre 2013 par la Cour de justice du canton de Genève en matière d'impôt cantonal et communal 2004 et de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Il formule des griefs identiques à ceux exposés dans le mémoire de recours du 18 novembre 2013.
La Cour de justice persiste dans les considérants et le dispositif des arrêts attaqués. L'Administration fiscale cantonale conclut au rejet des recours et l'Administration fédérale des contributions s'en remet à justice. Le contribuable a persisté dans les conclusions de ses recours.

Considérant en droit:
1.
Les recours déposés dans les causes 2C_1081/2013 et 2C_1164/2013 sont dirigés contre deux arrêts rendus par la Cour de justice du canton de Genève, qui concernent des situations de fait similaires et reposent sur des argumentations quasi identiques. Les griefs formulés par le recourant sont semblables. Il se justifie dès lors de joindre ces causes par économie de procédure et de statuer sur les deux recours dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
2.
Les arrêts attaqués sont des décisions finales (<ref-law>) d'une autorité judiciaire supérieure ayant statué en dernière instance cantonale, rendues dans des causes de droit public et qui ne tombent pas sous le coup d'une clause d'exception de l'<ref-law> (<ref-law>). Le recours en matière de droit public est ouvert (cf. <ref-law> en relation avec l'art. 73 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; loi sur l'harmonisation fiscale RS 642.14]; <ref-ruling> consid. 1 p. 204). La loi sur l'harmonisation fiscale assujettit en effet à l'impôt sur le revenu le produit de l'activité lucrative indépendante conformément à l'<ref-law> et à l'impôt sur les gains immobiliers les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable conformément à l'<ref-law>; ces deux dispositions entrent dans les matières harmonisées (<ref-law>). Il s'ensuit que les recours constitutionnels subsidiaires déposés par le recourant sont irrecevables (art. 113 a contrario LTF).
3.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de " manifestement inexacte " correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
Lorsque, comme en l'espèce, la partie recourante n'a pas expliqué de manière circonstanciée en quoi les deux conditions de l'<ref-law> seraient réalisées, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans les actes attaqués.
4.
4.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. Cependant, lorsque les dispositions de la loi sur l'harmonisation fiscale laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal est limité à l'arbitraire (<ref-ruling> consid. 2 p. 210), dont la violation doit être motivée conformément aux exigences accrues de l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant.
4.2. Invoquant les <ref-law>, ainsi que 9 et 30 Cst., le recourant débat " de la saine administration des preuves " et d'appréciation arbitraire des preuves. Il n'expose toutefois pas en quoi les art. 9 et 30 Cst. lui confèrent concrètement le droit à une " saine administration des preuves ". Tel qu'il est formulé, le grief est par conséquent irrecevable parce qu'il ne respecte pas les exigences de motivation de l'<ref-law>. En revanche, dans la mesure où le recourant entend se plaindre de la violation des règles relatives à la répartition du fardeau de la preuve en droit fiscal en se fondant sur l'<ref-law>, son grief sera examiné ci-dessous.
4.3. Invoquant l'art. 29 al. 2 Cst., le recourant se plaint de n'avoir pas été entendu oralement par l'instance précédente sans exposer en quoi l'art. 29 al. 2 Cst. lui garantit un tel droit, qui du reste n'existe pas. En effet, à lui seul, l'art. 29 al. 2 Cst. ne confère pas le droit d'être entendu oralement par l'autorité (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 2.1 p. 428 s.; <ref-ruling> consid. 4c p. 469). Ne répondant pas aux exigences de motivation de l'<ref-law>, le grief est irrecevable.
4.4. Invoquant l'art. 9 Cst., le recourant se plaint ensuite de l'interprétation arbitraire de la loi. Ce grief se confond avec celui de la violation du droit fédéral harmonisé (cf. consid. 2 ci-dessus), également invoqué par le recourant, de sorte qu'il n'a pas de portée propre en l'espèce et ne sera pas examiné pour lui-même.
5.
L'instance précédente a correctement désigné les dispositions légales applicables et dûment exposé la jurisprudence relative à l'attribution d'immeubles à la fortune commerciale ainsi que celle relative aux conséquences qu'emporte cette qualification auprès des héritiers.
5.1. L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques provenant de l'activité lucrative indépendante (<ref-law>), parmi lesquels figurent, aux termes de l'<ref-law>, tous les bénéfices en capital provenant de l'aliénation, de la réalisation ou de la réévaluation comptable ou du transfert dans la fortune privée d'éléments de la fortune commerciale, tandis qu'en vertu de l'<ref-law>, l'impôt sur les gains immobiliers a pour objet les gains réalisés lors de l'aliénation de tout ou partie d'un immeuble faisant partie de la fortune privée du contribuable à condition que le produit de l'aliénation soit supérieur aux dépenses d'investissement (prix d'acquisition ou autre valeur s'y substituant, impenses). Aux termes de l'<ref-law>, la fortune commerciale comprend tous les éléments de la fortune qui servent, entièrement ou de manière prépondérante, à l'exercice de l'activité lucrative indépendante. Les art. 8 al. 2bis et 2quater LHID n'étaient pas encore en vigueur pour les périodes fiscales 2004 et 2005 en cause en l'espèce (RO 2008 2893; FF 2005 4469).
Les cantons peuvent percevoir l'impôt sur les gains immobiliers également sur les gains réalisés lors de l'aliénation d'immeubles faisant partie de la fortune commerciale du contribuable, à condition que ces gains ne soient pas soumis à l'impôt sur le revenu ou sur le bénéfice ou que l'impôt sur les gains immobiliers soit déduit de l'impôt sur le revenu ou sur le bénéfice (<ref-law>).
5.2. Dans le canton de Genève, selon l'art. 3 al. 2 de la loi sur l'imposition des personnes physiques - Impôt sur le revenu (revenu imposable) du 22 septembre 2000 (aLIPP-IV, en vigueur jusqu'au 31 décembre 2009 en vertu de l'art. 69 de la loi sur l'imposition des personnes physiques du 27 septembre 2009 [LIPP - D 3 08]), applicable aux périodes fiscales 2004 et 2005 en cause en l'espèce, les bénéfices en capital provenant de l'aliénation, de la réalisation, de la réévaluation comptable ou du transfert dans la fortune privée ou dans une entreprise ou un établissement stable sis à l'étranger d'éléments de la fortune commerciale font partie du produit de l'activité lucrative indépendante. Un tel produit est taxé au titre de l'impôt sur le revenu (art. 3 al.1 aLIPP-IV). En revanche, les gains en capital réalisés lors de l'aliénation d'éléments de la fortune privée sont exonérés de l'impôt, les règles sur l'imposition des gains immobiliers étant réservées (art. 10 let. i aLIPP-IV).
La fortune commerciale comprend tous les éléments de fortune qui servent entièrement ou de manière prépondérante à l'activité indépendante (art. 3 al. 3 aLIPP-IV). Outre les biens directement affectés à l'exercice de l'activité commerciale (immeubles utilisés comme bureaux, fonds de commerce, etc), sont considérées comme relevant d'une activité lucrative indépendante, les opérations (et notamment les ventes) portant sur des éléments de la fortune, en particulier sur des titres et des immeubles, dans la mesure où elles dépassent la simple administration de la fortune (art. 3 al. 1 aLIPP-IV).
5.3. Selon la jurisprudence, la notion d'activité indépendante de l'<ref-law> est identique à celle de l'art. 8 al. 1 et 2 LHID (arrêt 2C_455/2011 du 5 avril 2012 consid. 8 et les références citées). Elle doit être comprise dans un sens large, de sorte que les bénéfices provenant d'une activité dépassant la simple administration de la fortune privée représentent le revenu imposable d'une activité lucrative indépendante et que les éléments patrimoniaux utilisés pour cette activité sont des actifs commerciaux, même s'il n'y a pas d'activité organisée sous la forme d'une entreprise (<ref-ruling> consid. 5b, 5d et 5e p. 122 ss). Ainsi, le commerce professionnel d'immeubles doit être qualifié d'activité lucrative indépendante au sens de l'<ref-law> et entraîne l'imposition comme revenu du bénéfice en capital lorsque le bien aliéné fait partie du patrimoine commercial (2C_349/2009 du 16 novembre 2009 consid. 4.1.2). En matière de bénéfices tirés de l'aliénation d'immeubles, sont notamment des indices en faveur d'une activité excédant la simple administration de la fortune privée, le caractère systématique ou planifié des démarches effectuées, la fréquence des opérations immobilières, le rapport étroit entre l'opération réalisée et l'activité professionnelle du contribuable, le recours à des connaissances spéciales, la durée de possession, la proportion des fonds étrangers investis dans l'opération, ainsi que le réinvestissement des produits de la vente dans de nouvelles acquisitions immobilières. Ces indices peuvent, considérés dans leur ensemble ou même isolément selon les circonstances, conduire à admettre l'existence d'une activité lucrative au sens de l'<ref-law> et 8 al. 1 et 2 LHID (cf. <ref-ruling> consid. 6a p. 124). Ainsi, l'architecte ou l'entrepreneur, qui, dans l'exercice de sa profession, acquiert systématiquement des propriétés immobilières, est imposable au titre de commerçant d'immeubles (<ref-ruling> consid. 2a p. 81; Archives 47 p. 418 et les références citées).
5.4. Le Tribunal fédéral a nouvellement jugé que les actifs de la fortune commerciale du commerçant d'immeubles ou de titres demeurent commerciaux malgré l'écoulement du temps (cf. arrêts 2C_164/2009 du 13 août 2009 consid. 5.4; 2C_29/2008 du 28 mai 2008 consid. 3.3). Dans le même ordre d'idées, il a aussi jugé que l'appartenance d'un bien à la fortune commerciale ou privée n'est pas modifiée par une dévolution successorale. Les actifs de la fortune commerciale du de cujus demeurent commerciaux auprès de ses héritiers. Ces derniers peuvent décider de les affecter à la fortune commerciale de leur propre activité indépendante ou de les conserver en leur qualité de biens commerciaux même s'ils n'exercent pas eux-mêmes une activité indépendante; ils peuvent également choisir de les transférer dans leur fortune privée par une déclaration expresse de volonté à l'adresse du fisc (arrêts 2C_349/2009 du 16 novembre 2009 consid. 4.1.2; 2A.105/2007 du 3 septembre 2007 consid. 3.4, in RDAF 2007 II p. 299; cf. aussi Danielle Yersin, La distinction entre l'activité indépendante et la gestion de la fortune privée, dans le domaine immobilier, Archives 67 p. 114; Martin Arnold, Geschäfts- und Privatvermögen im schweizerischen Einkommenssteuerrecht, Archives 75 p. 283 s.) ou encore les aliéner. Ce n'est qu'au moment où ils décident du transfert dans la fortune privée ou de l'aliénation que le bénéfice en capital en provenant constitue un revenu imposable au sens de l'<ref-law>. Ce système d'imposition permet aux héritiers de décider du moment de l'imposition du bénéfice en capital (arrêts 2C_349/2009 du 16 novembre 2009 consid. 4.1.2; 2A.105/2007 du 3 septembre 2007 consid. 3.4, in RDAF 2007 II p. 299).
5.5. En matière fiscale, les règles générales du fardeau de la preuve ancrées à l'<ref-law>, destinées à déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un fait, ont pour effet que l'autorité fiscale doit établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette ou la suppriment (<ref-ruling> consid. 2 p. 256 s.; arrêts 2C_180/2013 du 5 novembre 2013 consid. 11.1; 2C_446/2012 du 16 janvier 2013 consid. 2.4, RF 68/2013 p. 378; cf. Ernst Blumenstein/Peter Locher, System des schweizerischen Steuerrechts, 6e éd., Zurich 2002, p. 416 et les nombreuses références). Si les preuves recueillies par l'autorité fiscale apportent suffisamment d'indices révélant l'existence d'éléments imposables, il appartient à nouveau au contribuable d'établir l'exactitude de ses allégations et de supporter le fardeau de la preuve du fait qui justifie son exonération (arrêts 2C_1201/2012 du 16 mai 2013 consid. 4.6; 2C_514/2009 du 25 mars 2010 consid. 5.2; 2C_47/2009 du 26 mai 2009 consid. 5.4; cf. Daniel Schär, Normentheorie und mitwirkungsorientierte Beweislastverteilung in gemischten Steuerverfahren, Archives 67 p. 433 ss, p. 448). Ces règles s'appliquent également à la procédure devant les autorités de recours en matière fiscale (arrêt 2A.105/2007 du 3 septembre 2007, consid. 4 s. in RDAF 2007 II 299).
6.
6.1. En l'espèce, le père du recourant exerçait la profession d'architecte. Il exploitait également une entreprise du bâtiment. Il a acquis les immeubles vendus en 2004 et 2005 alors qu'il exerçait ses activités lucratives principales. Se fondant sur les déclarations du recourant dans la procédure ayant conduit à l'arrêt attaqué du 8 octobre 2013, le Tribunal administratif de première instance a retenu que le père du recourant avait procédé à des travaux de rénovation et d'entretien par sa propre entreprise. Dans l'arrêt attaqué du 8 octobre 2013, l'instance précédente expose quant à elle que le recourant avait reconnu que son père s'était servi des ressources de son entreprise pour valoriser à moindre frais les bâtiments et les terrains qu'il achetait, ce qui était corroboré par les copies de requêtes d'autorisation de construire versées à la procédure, dans lesquelles ce dernier apparaissait comme architecte ou entrepreneur de projets de rénovation, d'entretien ou de construction portant sur ses propres immeubles et par l'absence de factures correspondant aux travaux effectués démontrant que dites constructions et rénovations n'avaient pas été exécutées par une autre entreprise.
Dans l'arrêt du 29 octobre 2013, l'instance précédente s'est référée aux faits qui avaient été établis dans l'arrêt du 8 octobre 2013.
Au vu de l'acquisition des immeubles à une période où feu le père du recourant exerçait les professions d'architecte et d'entrepreneur, au vu des travaux de rénovation, d'entretien et de construction effectués par sa propre entreprise et en l'absence de facturation de ces travaux à des entreprises tierces, c'est à bon droit que l'instance précédente a jugé que les immeubles vendus en 2004 et 2005 appartenaient à la fortune commerciale du père du recourant puis à la fortune commerciale du recourant, la dévolution successorale n'ayant pas modifié leur appartenance à dite fortune commerciale.
6.2. Le recourant objecte en vain que les immeubles ont été taxés du vivant de son père dans la fortune privée et qu'ils n'étaient pas comptabilisés dans les comptes de l'entreprise de bâtiment. Du moment que les immeubles servaient directement les affaires de l'entreprise de bâtiment de son père, ils appartenaient à la fortune commerciale. Le recourant prétend à tort que la jurisprudence exige que les critères destinés à trancher l'appartenance d'un bien à l'une ou l'autre fortune privée ou commerciale doivent tous être mis en commun. Les indices que la jurisprudence considère comme déterminant peuvent être appréciés dans leur ensemble ou même isolément selon les circonstances (cf. consid. 5.3 ci-dessus).
Le recourant soutient aussi en vain que l'instance précédente ne pouvait pas faire l'économie d'un examen immeuble par immeuble. En effet, il perd de vue que ce n'est pas le caractère systématique ou planifié des démarches effectuées ni la fréquence des opérations immobilières, ni la durée de possession, la proportion des fonds étrangers investis dans les opérations, ou encore le réinvestissement des produits de la vente dans de nouvelles acquisitions immobilières qui ont conduit, à bon droit, l'instance précédente à juger que les immeubles vendus en 2004 et 2005 appartenaient à la fortune commerciale du père du recourant. Ce qui a été jugé déterminant à juste titre, c'est l'intérêt économique qu'ils revêtaient pour les activités de l'entreprise de celui-ci.
Sur ce dernier point, les autorités fiscales cantonales avaient établi que le père du recourant s'était servi des ressources de son entreprise pour valoriser les bâtiments et les terrains qu'il achetait. Elles avaient constaté que ce fait était corroboré par les copies de requêtes d'autorisation de construire versées à la procédure, dans lesquelles ce dernier apparaissait comme architecte ou entrepreneur de projets de rénovation, d'entretien ou de construction portant sur ses propres immeubles. Dans ces conditions, il appartenait au recourant, eu égard aux règles de répartition du fardeau de la preuve (cf. consid. 5.5 ci-dessus), de prouver l'inverse en produisant, par exemple, des factures correspondant aux travaux effectués démontrant que dites constructions et rénovations avaient été exécutées par une autre entreprise, ce qui n'a pas été fait, comme l'instance précédente pouvait dûment le juger sans violer l'<ref-law>.
6.3. Dans ces conditions en jugeant que les immeubles vendus en 2004 et 2005 appartenaient à la fortune commerciale du recourant, l'instance précédente n'a pas violé le droit fédéral.
7.
Les considérants qui précèdent conduisent au rejet des recours dans la mesure où ils sont recevables. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Les causes 2C_1081/2013 et 2C_1164/2013 sont jointes.
2.
Les recours en matière de droit public sont rejetés dans la mesure où ils sont recevables.
3.
Les recours constitutionnels subsidiaires sont irrecevables.
4.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 1ère section, et à l'Administration fédérale des contributions.
Lausanne, le 2 juin 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Dubey