Faits: A. A.A._ est le fils de B.A._ décédé à Genève le 7 décembre 1999 à l'âge de 85 ans. De son vivant, feu B.A._ exploitait une entreprise du bâtiment, sous la raison sociale « X.A._ ». Il était architecte de profession. Sa société était inscrite au registre du commerce comme entreprise de travaux publics. Elle avait son siège à Y._. En 1999, feu B.A._ était propriétaire de parts de sociétés immobilières (ci-après : SI), propriétaire en nom ou copropriétaire de dix-neuf immeubles locatifs évalués à son décès à environ cent millions de francs. Du vivant de feu B.A._, ces immeubles étaient exploités à des fins locatives. Leur gestion était confiée à des régies de la place. Dans les déclarations fiscales 1997 et 1998 adressées par ce dernier à l'Administration fiscale cantonale, ces biens avaient été déclarés dans la fortune et les revenus de la fortune privés. Ils n'avaient pas été activés dans les bilans et les comptes de pertes et profits des mois de décembre 1997 et 1998 de l'entreprise. Dans son testament, feu B.A._, qui était veuf, a dévolu ses biens à ses deux fils à parts égales. Il a clairement distingué, dans ses dernières volontés, l'entreprise X.A._ des immeubles qu'il possédait. Le 7 novembre 2001, le service des successions de l'Administration fiscale cantonale a procédé à une estimation de l'entreprise, dans laquelle ne figurait aucun des immeubles précités comme immeubles commerciaux. Le 12 juillet 2000, les héritiers ont signé un premier acte de partage partiel portant sur la propriété de l'entreprise X.A._ dont la valeur a été fixée à 3'616'763 fr. 75, l'attribuant au contribuable, son frère ayant bénéficié d'un versement compensatoire. Aucun immeuble n'est mentionné dans l'acte comme faisant partie de l'entreprise. En janvier 2001, les héritiers se sont partagé la plupart des immeubles. Le contribuable s'est vu attribuer la propriété de huit immeubles. Certains immeubles dont feu B.A._ ne possédait que des parts de copropriété n'ont pas été partagés et sont restés en indivision, ainsi que celui qui était en travaux à la date du partage. Peu après ce partage, le contribuable s'est attelé à la liquidation de l'entreprise, car il ne souhaitait pas la conserver. Les immeubles dont il avait hérité ont continué à être gérés par des agents immobiliers. Souhaitant également s'en séparer, il les a progressivement mis en vente par l'entremise de courtiers professionnels. En 2004, le contribuable a vendu cinq immeubles. En 2005, il a vendu trois parcelles dont il était propriétaire pour 370/1000 ainsi que trois autres parcelles. Fin 2005, il a déposé sa déclaration fiscale 2004. Les immeubles dont il était encore propriétaire étaient signalés comme immeubles non commerciaux. En 2006, le contribuable a vendu l'entreprise, après l'avoir transformée en société anonyme. Aucun des immeubles hérités n'a été intégré aux actifs de cette société, bien que celle-ci ait conservé son siège dans l'un des immeubles attribué au contribuable. B. Le 11 mai 2007, l'Administration fiscale cantonale a notifié au contribuable ses bordereaux pour l'impôt cantonal et communal et pour l'impôt fédéral direct 2004. Elle a intégré au bénéfice net de l'activité indépendante, au titre de l'impôt fédéral et cantonal sur le revenu, le bénéfice de 1'160'679 fr. réalisé sur la vente d'immeubles en 2004, considérant que ces biens faisaient partie de sa fortune commerciale. Par réclamation du 11 juin 2007, le contribuable a contesté la qualification professionnelle du bénéfice réalisé sur la vente des immeubles. L'Administration fiscale cantonale a rejeté cette réclamation par décisions du 10 mai 2010. C. Le 25 septembre 2007, l'Administration fiscale cantonale a notifié au contribuable ses bordereaux pour l'impôt cantonal et communal et pour l'impôt fédéral direct 2005. Elle a intégré au bénéfice net de l'activité indépendante, au titre de l'impôt fédéral et cantonal sur le revenu, le bénéfice de 609'087 fr. réalisé sur la vente d'immeubles en 2005, considérant que ces biens faisaient partie de sa fortune commerciale. Par réclamation du 19 octobre 2007, le contribuable a contesté la qualification professionnelle du bénéfice réalisé sur la vente des immeubles. L'Administration fiscale cantonale a partiellement admis la réclamation par décisions du 18 octobre 2010. Le bénéfice sur la vente d'un immeuble réalisée lors de la liquidation d'une SI devait être attribué à la fortune privée, le produit de la vente des autres immeubles constituaient un bénéfice d'activité indépendante. Le revenu soumis à l'impôt cantonal 2005 s'élevait à 1'264'354 fr. et la fortune à 45'824'204 fr. D. Par acte du 21 juin 2010, A.A._ a recouru auprès de la Commission cantonale de recours en matière administrative, devenue depuis le 1er janvier 2011 le Tribunal administratif de première instance, contre les décisions sur réclamation de l'Administration fiscale cantonale du 10 mai 2010 portant sur la période fiscale 2004. Il n'a pas contesté, à cette occasion, les faits retenus par l'Administration fiscale cantonale dans les décisions attaquées (utilisation par feu B.A._ de son entreprise pour effectuer les travaux de construction, rénovation et entretien des immeubles, etc). De même, par acte du 18 novembre 2010, il a recouru contre les décisions sur réclamation de l'Administration fiscale cantonale du 18 octobre 2010 portant sur la période fiscale 2005. Sur demande de production du dossier fiscal du père du contribuable par le Tribunal administratif de première instance, l'Administration fiscale cantonale a indiqué qu'elle l'avait détruit en 2000. Elle disposait toutefois des déclarations 1998 et 1999 de feu B.A._, ainsi que de documents attestant que trois ventes d'immeubles - dont l'une effectuée en consortium - réalisées par l'entreprise X.A._ en 1979, 1987 et 1994 avaient été taxées comme professionnelles. Elle produisait par ailleurs plusieurs requêtes d'autorisation de construire déposées en lien avec les immeubles de feu B.A._, qui démontraient la nature professionnelle des opérations immobilières faites sur les immeubles concernés. Par jugements du 18 juillet 2012, le Tribunal administratif de première instance a rejeté les recours. Par acte du 13 septembre 2012, A.A._ a interjeté recours en matière d'impôt fédéral direct et en matière d'impôt cantonal et communal auprès de la Cour de justice du canton de Genève contre les jugements du 18 juillet 2012. E. Par arrêts du 8 octobre 2013 s'agissant de la période fiscale 2005 et du 29 octobre 2013 s'agissant de la période fiscale 2004, la Cour de justice a rejeté les recours en tant qu'ils concernaient l'impôt cantonal et communal des périodes fiscales 2004 et 2005 et les a déclarés irrecevables, parce que tardifs, en tant qu'ils concernaient l'impôt fédéral direct des périodes fiscales 2004 et 2005. Feu B.A._ exerçait une activité en tant qu'entrepreneur du bâtiment, au travers de l'entreprise générale X.A._. Il était non seulement entrepreneur, mais architecte de profession. Saisissant les occasions qui s'offraient à lui dans le cadre de son activité professionnelle, il avait acheté au fil des ans des immeubles ou des terrains, qu'il avait rénovés ou construits non dans l'optique de les vendre mais de les louer, pour augmenter sa fortune. Il s'était servi des ressources de son entreprise pour valoriser à moindre frais les bâtiments et les terrains qu'il achetait, comme le montraient les copies de requêtes d'autorisation de construire versées à la procédure, dans lesquelles il apparaissait comme architecte ou entrepreneur de projets de rénovation, d'entretien ou de construction portant sur ses propres immeubles. Ces différents faits et indices (acquisition des immeubles à une période où feu B.A._ exerçait les professions d'architecte et d'entrepreneur, travaux de rénovation, d'entretien et de construction effectués par sa propre entreprise, absence de facturation de ces travaux à l'entreprise, soit prise en charge par celle-ci des frais correspondants), plaidaient en faveur de la nature commerciale des immeubles. Ces immeubles étaient demeurés commerciaux dans le patrimoine du contribuable, qui avait accepté la poursuite de ce statut fiscal en s'abstenant de formuler une déclaration de transfert dans sa fortune privée. F. Agissant le 18 novembre 2013 par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, enregistré sous le numéro d'ordre 2C_1081/2013, A.A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 8 octobre 2013 par la Cour de justice du canton de Genève en matière d'impôt cantonal et communal 2005 et de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Il se plaint de la violation de l'art. 8 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14) ainsi que des art. 9, 29 et 30 Cst. Par mémoire du 9 décembre 2013, enregistré sous le numéro d'ordre 2C_1164/2013, A.A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 29 octobre 2013 par la Cour de justice du canton de Genève en matière d'impôt cantonal et communal 2004 et de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Il formule des griefs identiques à ceux exposés dans le mémoire de recours du 18 novembre 2013. La Cour de justice persiste dans les considérants et le dispositif des arrêts attaqués. L'Administration fiscale cantonale conclut au rejet des recours et l'Administration fédérale des contributions s'en remet à justice. Le contribuable a persisté dans les conclusions de ses recours.