Faits :
A.
Le 30 mars 2004, A._ a été inscrit dans le registre du commerce du canton de Genève comme administrateur unique de la société B._ SA (ci-après: la société). Il a démissionné de son mandat d'administrateur le 20 octobre 2004, démission inscrite au registre précité le 25 octobre 2004.
Le 15 février 2006, l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) a ouvert à l'encontre de la société des procédures en rappel et soustraction d'impôt pour l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC), notamment relatives aux périodes fiscales 2003 et 2004. Le 23 novembre 2007, elle a rectifié sa décision de taxation pour l'année 2004. La réclamation élevée contre cette décision a été écartée le 2 mars 2009. La société a été liquidée le 4 novembre 2009. Le 24 novembre 2009, la faillite a été suspendue faute d'actifs et la société a été radiée du registre du commerce le 14 juin 2010.
Par décision du 25 août 2009, confirmée sur réclamation le 17 novembre 2009, l'Administration fiscale a en particulier tenu A._ solidairement responsable du paiement des créances fiscales de la société pour les années 2003 et 2004, consécutives à la liquidation de celle-ci, à concurrence du produit de la liquidation. Le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) a admis le recours de l'intéressé, par jugement du 11 avril 2011. Par arrêt du 20 novembre 2012, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a admis un recours de l'Administration fiscale, considérant que A._ devait être tenu solidairement responsable du paiement des créances d'impôt consécutives à la liquidation de la société et renvoyant la cause à l'Administration fiscale, afin que celle-ci détermine le produit net de la liquidation. Un recours élevé par A._ à l'encontre de cet arrêt a été déclaré irrecevable par le Tribunal fédéral (arrêt 2C_1282/2012 du 8 janvier 2013).
Dans une décision du 31 juillet 2013, l'Administration fiscale a arrêté le produit net de la liquidation de la société à 14'508'397 fr. et la créance d'impôt à 3'846'832 fr. 70. Elle a rejeté la réclamation élevée à l'encontre de cette décision le 31 août 2015. Le Tribunal administratif de première instance (le 5 septembre 2016), puis la Cour de justice (le 30 mai 2017) ont tous deux rejeté les recours successifs de A._. Celui-ci a contesté l'arrêt de la Cour de justice auprès du Tribunal fédéral qui, par arrêt du 10 décembre 2018 (arrêt 2C_607/2017), a admis le recours en tant qu'il concernait l'IFD et l'ICC de la période fiscale 2004 et l'a rejeté pour le surplus, notamment dans la mesure où il avait trait à l'IFD 2003. Le Tribunal fédéral a renvoyé la cause à la Cour de justice pour nouvelle décision dans le sens des considérants quant à la période fiscale 2004.
B.
Après avoir demandé à l'Administration fiscale de se déterminer et permis à A._ de consulter le dossier, la Cour de justice, par arrêt du 19 juillet 2019, a partiellement admis le recours de celui-ci, renvoyant la cause à l'Administration fiscale, afin qu'elle procède à un nouveau calcul des impôts dus. La Cour de justice a par ailleurs mis à la charge de A._ deux émoluments de 500 fr. pour la procédure devant le Tribunal administratif de première instance, respectivement devant elle et alloué deux indemnités de procédure de 1'000 fr. chacune pour la représentation devant ces deux instances.
C.
Agissant par la voie du recours en matière de droit public, A._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 19 juillet 2019, de le libérer du paiement des dettes fiscales de la société B._ SA pour la période fiscale 2004, de constater l'extinction de la dette d'IFD pour l'année 2003 et d'augmenter à 9'500 fr. chacune des indemnités perçues pour les procédures devant la Cour de justice et le Tribunal administratif de première instance; subsidiairement, d'annuler l'arrêt précité et de réduire le montant dû pour l'IFD et l'ICC 2004 d'une provision pour impôt de 1'736'040 fr. avant de calculer les éventuels intérêts moratoires, de constater l'extinction de la dette d'IFD pour l'année 2003, de ne pas lui imputer des intérêts moratoires avant le 25 septembre 2009 et de fixer le produit de liquidation au maximum à 477'060 francs.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale conclut au rejet du recours. L'Administration fédérale des contributions renonce à se déterminer et s'en remet à justice. Dans des observations subséquentes, A._ a confirmé ses conclusions. Par la suite, il a encore invoqué la prescription des dettes fiscales de l'année 2004.
Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (art. 90 LTF; cf. ATF 134 II 124 consid. 1.3 p. 127 et les références) rendu en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF) ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83 LTF. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. art. 146 LIFD [RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; ATF 134 II 186 consid. 1.3 p. 188 s.). Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF, de sorte qu'il convient d'entrer en matière, sous réserve de ce qui suit.
2.
L'objet de la contestation porté devant le Tribunal fédéral est déterminé par l'arrêt attaqué. L'objet du litige, délimité par les conclusions des parties (art. 107 al. 1 LTF), ne saurait s'étendre au-delà de l'objet de la contestation. Par conséquent, devant le Tribunal fédéral, le litige peut être réduit, mais ne saurait être ni élargi, ni transformé par rapport à ce qu'il était devant l'autorité précédente, qui l'a fixé dans le dispositif de l'arrêt entrepris (et qui est devenu l'objet de la contestation devant le Tribunal fédéral; ATF 142 I 155 consid. 4.4.2 p. 156 et les références).
En l'occurrence, dans son arrêt 2C_607/2017 du 10 décembre 2018, le Tribunal fédéral a définitivement statué sur le recours de l'intéressé, en tant qu'il avait trait à la période fiscale 2003. Il n'a pas renvoyé la cause à la Cour de justice sur ce point, mais uniquement en relation avec la période fiscale 2004. Par conséquent, dans la mesure où le recourant demande la constatation de l'extinction de la dette d'IFD pour la période fiscale 2003, il ne saurait être suivi, dès lors que le litige ne peut pas être étendu à cette question, qui n'a donc pas fait partie du litige tranché par la Cour de justice dans l'arrêt entrepris. La conclusion portant sur la dette fiscale d'IFD de l'année 2003 doit ainsi être déclarée irrecevable.
3.
En définitive, la présente cause concerne la responsabilité du recourant pour le paiement des dettes d'IFD et d'ICC de la période fiscale 2004 de la société dont il a été administrateur du 30 mars au 20 octobre 2004. Compte tenu du temps écoulé depuis les taxations de ces années fiscales, il convient en premier lieu de déterminer si les deux dettes précitées ne sont pas prescrites, étant rappelé que la prescription est une question de droit matériel que le Tribunal fédéral examine d'office (ATF 138 II 169 consid. 3.2 p. 171 et les références; arrêt 2C_607/2017 du 10 décembre 2018 consid. 4).
3.1. Aux termes de l'art. 121 al. 1 LIFD (cf. art. 47 al. 2 LHID s'agissant de l'ICC), les créances d'impôt se prescrivent par cinq ans à compter de l'entrée en force de la taxation. L'art. 121 al. 2 LIFD prévoit les cas de suspension et d'interruption de la prescription (relative) et renvoie à ce propos à l'art. 120 al. 2 et 3 LIFD. Ainsi, selon l'art. 120 al. 3 let. a LIFD, un nouveau délai de prescription commence à courir lorsque l'autorité prend une mesure tendant à fixer ou faire valoir la créance d'impôt et en informe le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt. Pour sa part, l'art. 121 al. 3 LIFD (cf. art. 47 al. 2 LHID) prévoit les cas de prescription absolue. Selon cette dernière disposition, la prescription est acquise dans tous les cas dix ans à compter de la fin de l'année au cours de laquelle la taxation est entrée en force. L'entrée en force (formelle) d'une décision de taxation intervient en particulier le jour à partir duquel celle-ci ne peut plus être contestée au moyen d'un recours ordinaire (ATF 139 II 404 consid. 8.1 p. 431; arrêt 2C_607/2017 du 10 décembre 2018 consid. 4.1 et les références). S'agissant des procédures de rappel d'impôt, l'art. 153 LIFD en prévoit la procédure et renvoie notamment à l'art. 121 LIFD (cf. arrêt 2C_607/2017 du 10 décembre 2018 consid. 4.1 et les références).
3.2. En l'occurrence, le 23 novembre 2007, l'Administration fiscale a adressé à la société des décisions de taxation rectificatives pour l'IFD et l'ICC de l'année 2004. La réclamation élevée par la société contre ces décisions a été rejetée le 2 mars 2009, sans qu'aucun recours n'ait été formé contre cette décision sur réclamation. Par conséquent, en application des art. 121 al. 3 LIFD et 47 al. 2 LHID, dans la mesure où les décisions de taxation sont définitivement entrée en force durant l'année 2009, la prescription absolue du droit de percevoir l'IFD et l'ICC de la période fiscale 2004 est intervenue le 31 décembre 2019, c'est-à-dire 10 ans après la fin de l'année au cours de laquelle la taxation est entrée en force (cf. arrêt 2C_607/2017 du 10 décembre 2018 consid. 4.2.2). Le recours doit par conséquent être admis en tant qu'il concerne l'IFD et l'ICC de la période fiscale 2004, les dettes fiscales étant prescrites au jour du prononcé du présent arrêt.
4.
Dans un dernier grief, invoquant l'arbitraire dans l'application du droit cantonal de procédure, le recourant demande l'octroi de deux indemnités de 9'500 fr. pour la procédure devant la Cour de justice, respectivement devant le Tribunal administratif de première instance. Il considère comme étant arbitraire, de la part de la Cour de justice, de ne lui avoir reconnu le droit qu'à deux indemnités de 1'000 fr. chacune pour les procédures précitées.
4.1. La question de la répartition des frais et dépens relève exclusivement du droit cantonal, dont le Tribunal fédéral revoit l'application sous l'angle de l'arbitraire uniquement (cf. arrêt 1C_300/2016 du 16 mai 2017 consid. 6 et les références). Une décision est arbitraire (art. 9 Cst.) lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (ATF 144 I 318 consid. 5.4 p. 326 s. et les références).
4.2. Dans l'arrêt entrepris, la Cour de justice a constaté que le recourant n'obtenait que partiellement gain de cause, dans la mesure où sa responsabilité était confirmée et que seul le montant dont il répondait solidairement devait être recalculé à la baisse. Pour cette raison, elle a alloué deux indemnités de procédure réduites de 1'000 fr., une pour chacune des deux instances (Cour de justice et Tribunal administratif de première instance).
Pour sa part, le recourant invoque une application arbitraire des art. 87 al. 2 de la loi genevoise du 12 septembre 1985 sur la procédure administrative (LPA/GE; RSGE E 5 10) et 6 du règlement genevois du 30 juillet 1986 sur les frais, émoluments et indemnités en procédure administrative (RFPA/GE; RSGE E 5 10.03). La première de ces dispositions prévoit que la juridiction administrative peut, sur requête, allouer à la partie ayant entièrement ou partiellement gain de cause, une indemnité pour les frais indispensables causés par le recours. L'art. 87 al. 3 LPA/GE dispose pour sa part que la juridiction administrative statue dans les limites établies par règlement du Conseil d'Etat et cela conformément au principe de proportionnalité. En outre, selon l'art. 6 RFPA/GE, la juridiction peut allouer à une partie pour les frais indispensables occasionnés par la procédure, y compris les honoraires éventuels d'un mandataire, une indemnité de 200 à 10'000 francs. En application de ces dispositions, le recourant estime qu'au vu du gain de cause partiel devant le Tribunal fédéral le 10 décembre 2018, et en prenant en particulier en compte les actes de procédure effectués, la difficulté de l'affaire, ainsi que la valeur litigieuse, il aurait dû obtenir deux indemnités de partie de 9'500 fr. chacune. Il est selon lui arbitraire d'uniquement lui allouer deux indemnités de 1'000 francs.
4.3. En l'occurrence, on constate que la présente affaire a duré près de dix ans et nécessité la production de nombreuses pièces de la part du recourant, que ce soit des recours ou des observations, devant le Tribunal administratif de première instance ou devant la Cour de justice. En outre, la valeur litigieuse de la cause, qui a varié durant la longue procédure, est relativement élevée, puisqu'au départ elle était de près de 4'000'000 francs. Dans ces conditions, et en rappelant que le droit cantonal prévoit une fourchette allant de 200 fr. à 10'000 fr. par instance pour les indemnités, il est arbitraire de n'accorder que deux fois 1'000 fr. au recourant pour l'ensemble des procédures devant la Cour de justice et le Tribunal administratif de première instance. Ces montants sont d'autant plus arbitraires que la Cour de justice ne motive pratiquement pas la façon dont elle les détermine. Se limiter à affirmer que le recourant a obtenu partiellement gain de cause, mais qu'il doit malgré tout être tenu solidairement responsable du paiement des dettes fiscales de la société ne permet pas de justifier des indemnités aussi basses que celles octroyées, sauf à tomber dans l'arbitraire. Il se justifie donc d'admettre le grief d'arbitraire dans l'application du droit cantonal soulevé par le recourant et de renvoyer la cause à l'autorité précédente, afin qu'elle octroie à celui-ci des indemnités établies en prenant en compte l'ensemble des faits pertinents. S'agissant de droit cantonal, il n'appartient en revanche pas au Tribunal fédéral de statuer lui-même sur les indemnités de partie justifiées par la cause, comme le demande le recourant en faisant valoir un droit à deux fois 9'500 francs.
5.
Sur le vu des considérants qui précèdent, le recours est admis, tant en matière d'IFD que d'ICC, dans la mesure où il est recevable. L'arrêt entrepris est annulé. Succombant très partiellement (dans la mesure où il a contesté l'IFD de la période fiscale 2003), le recourant doit supporter une partie réduite des frais judiciaires (art. 66 al. 1 LTF), le solde étant à la charge du canton de Genève, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu (art. 66 al. 1 et 4 LTF). En tant qu'il succombe presque entièrement, le canton de Genève sera condamné à verser au recourant des dépens réduits (art. 68 al. 1 LTF), aucun dépens ne lui étant alloué (art. 68 al. 3 LTF). Il ne se justifie en outre pas de répartir autrement les frais de la procédure antérieure (cf. art. 67 LTF), puisqu'au moment du prononcé de l'arrêt entrepris, la période fiscale 2004 n'était pas encore prescrite.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, dans la mesure où il est recevable, en tant qu'il concerne l'impôt fédéral direct. L'arrêt de la Cour de justice du 19 juillet 2019 est annulé. La cause est renvoyée à la Cour de justice pour nouvelle décision dans le sens des considérants.
2.
Le recours est admis en tant qu'il concerne les impôts cantonal et communal. L'arrêt de la Cour de justice du 19 juillet 2019 est annulé. La cause est renvoyée à la Cour de justice pour nouvelle décision dans le sens des considérants.
3.
Les frais judiciaires, arrêtés à 10'000 fr., sont mis pour 1'000 fr. à la charge du recourant et pour 9'000 fr. à la charge du canton de Genève.
4.
Le canton de Genève versera au recourant la somme de 9'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale et à la Chambre administrative de la Cour de justice de la République et canton de Genève, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 4 février 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette