Faits :
A.
A._, dont le domicile fiscal était à Genève entre 1987 et 1991, s'est vu notifier par l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale), pour cette période, cinq bordereaux de taxation d'office relatifs aux impôts cantonal et communal. Le 21 janvier 1997, ceux-ci ont été partiellement rectifiés sur réclamation. Par la suite, le 27 mars 2003, la Commission cantonale de recours en matière d'impôt de la République et canton de Genève (ci-après: la Commission; actuellement le Tribunal administratif de première instance de la République et canton de Genève, ci-après: le Tribunal administratif de première instance) a partiellement admis le recours formé par A._ contre la décision sur réclamation. L'intéressé a contesté ce prononcé auprès du Tribunal administratif de la République et canton de Genève (ci-après: le Tribunal administratif; actuellement la Chambre administrative de la Cour de justice, ci-après: la Cour de justice).
B.
Dans un arrêt du 18 janvier 2005, le Tribunal administratif, après avoir procédé à une appréciation anticipée des preuves à sa disposition et rejeté les offres de preuves formulées par l'intéressé (audition de cinq témoins et obtention de pièces auprès de tiers), a partiellement admis le recours. Il a ainsi légèrement modifié la fortune imposable pour les années 1987 et 1988 ainsi que le revenu imposable des années 1988 et 1990. Il a renvoyé la cause à l'Administration fiscale pour nouvelles taxations dans le sens des considérants. Le contribuable a contesté cet arrêt auprès du Tribunal fédéral. Celui-ci, dans un arrêt du 10 mars 2005 (2P.82/2005) a déclaré le recours irrecevable, dès lors que l'arrêt du 18 janvier 2005 du Tribunal administratif consistait en une décision incidente qui n'entraînait aucun dommage irréparable pour l'intéressé. Cet arrêt conférait une latitude de jugement à l'Administration fiscale, puisque celle-ci devait procéder à de nouvelles taxations contre lesquelles le contribuable pourrait recourir, peu importe que le Tribunal cantonal ait statué définitivement sur certains points (fixation du revenu et de la fortune; cf. consid. 2.2 de l'arrêt précité).
C.
Le 13 juin 2005, l'Administration fiscale a rendu cinq nouveaux bordereaux de taxation pour les impôts cantonal et communal des périodes fiscales 1987 à 1991. Suite à une réclamation du contribuable qui avait découvert certaines pièces attestant de l'inexactitude des montants, l'Administration fiscale a rendu une décision sur réclamation le 5 août 2011. L'intéressé a contesté ce prononcé auprès du Tribunal de première instance puis, à la suite du rejet du recours par cette autorité le 6 mai 2013, auprès de la Cour de justice.
Par arrêt du 27 mai 2014, la Cour de justice a rejeté le recours de A._. Après avoir constaté que le droit de taxer n'était pas prescrit, elle a rejeté les griefs de déni de justice formel, de violation du droit d'être entendu et de violation du principe de la bonne foi.
D.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler les arrêts du 27 mai 2014 de la Cour de justice et du 18 janvier 2005 du Tribunal administratif et de renvoyer la cause à l'autorité cantonale pour nouvelles taxations dans le sens des considérants. Il se plaint de déni de justice formel, de violation du droit d'être entendu et de formalisme excessif.
Par ordonnance du 18 juillet 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt, l'Administration fiscale conclut au rejet du recours et l'Administration fédérale des contributions renonce à prendre position.

Considérant en droit :
1.
L'arrêt du 27 mai 2014 constitue une décision finale au sens de l'<ref-law>. Il est donc sujet à recours devant le Tribunal fédéral. L'arrêt du 18 janvier 2005 représente quant à lui une décision incidente (arrêt 2P.82/2005 du 10 mars 2005 consid. 2.2) et peut être attaqué avec la décision finale, conformément à l'<ref-law> (cf. arrêts 1C_491/2012 du 26 mars 2013 consid. 1.2; 1C_201/2011 du 16 juin 2011 consid. 2.6). Le fait que le recours contre cet arrêt ait été déclaré irrecevable par le Tribunal fédéral n'empêche pas le recourant de se plaindre de la décision attaquée dans le cadre du présent recours contre la décision finale (<ref-ruling> consid. 3.3 p. 89 s.; <ref-ruling> consid. 1b p. 92).
Pour le surplus, les arrêts entrepris ont été rendus en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire des arrêts attaqués qui a qualité pour recourir au sens de l'<ref-law>, le recours en matière de droit public est par conséquent recevable.
2.
2.1. Le Tribunal fédéral fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 7.1 p. 51) - ou en violation du droit (<ref-law>). Le recourant qui entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>) doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356).
2.2. Le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Cependant, il ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant, selon le principe d'allégation (<ref-law>; <ref-ruling> consid. 3.3 p. 310 s.; <ref-ruling> consid. 3.2 p. 88). En revanche, sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), l'on ne peut invoquer la violation du droit cantonal ou communal en tant que tel devant le Tribunal fédéral (<ref-law> e contrario). Il est néanmoins possible de faire valoir que son application consacre une violation du droit fédéral, comme la protection contre l'arbitraire (art. 9 Cst.) ou la garantie d'autres droits constitutionnels. Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'<ref-law> (<ref-ruling> consid. 2.5 p. 314; arrêt 2C_668/2013 du 19 juin 2014 consid. 2.1).
3.
En l'absence d'une réglementation expresse contraire, le droit applicable à la taxation est celui en vigueur pendant la période fiscale en cause (arrêt 2C_416/2013 du 5 novembre 2013 consid. 5.1, in RDAF 2014 II 40). Le litige concerne exclusivement l'impôt cantonal et communal pour la période allant du 1er janvier 1987 au 31 décembre 1991. A cette époque, la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) n'était pas encore obligatoire pour les cantons (cf. <ref-law>). Le canton de Genève a adapté sa législation au droit harmonisé notamment au travers des anciennes lois genevoises des 31 août et 22 septembre 2000 sur l'imposition des personnes physiques (aLIPP I à V), entrées en vigueur le 1er janvier 2001 (remplacées dès le 1er janvier 2010 par la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques [LIPP/GE; D 3 08]), et de la loi genevoise du 4 octobre 2001 de procédure fiscale (LPFisc/GE; D 3 17), entrée en vigueur le 1er janvier 2002. Par conséquent, les périodes litigieuses 1987 à 1991 étaient régies par l'ancienne loi genevoise du 14 décembre 1887 sur les contributions publiques (aLCP/GE), soit par du droit cantonal non encore harmonisé.
Il en découle que l'examen par le Tribunal fédéral du droit cantonal pertinent est limité à l'arbitraire ou à la violation d'autres droits constitutionnels en fonction des griefs soulevés par le recourant (cf. consid. 2.2 ci-dessus). Cela vaut pour toutes les questions relevant uniquement du droit cantonal.
4.
4.1. Compte tenu de l'écoulement du temps, il convient de s'interroger sur l'existence de la prescription absolue. Il sied de préciser que, comme le recourant ne formule aucun grief à cet égard, la question de la prescription absolue n'a pas à être traitée d'office dans la mesure où elle découlerait du droit cantonal (cf. consid. 2.2 ci-dessus). Or le droit cantonal en vigueur à l'époque des créances fiscales en cause ne prévoyait pas de prescription absolue. En revanche, dès lors que la LHID contient des dispositions imposant une prescription absolue, la Cour de céans doit examiner d'office en tant que la matière relève du droit fédéral matériel (<ref-law>) dans quelle mesure les délais prévus par la LHID s'appliquent à la présente cause et, le cas échéant, vérifier si la prescription absolue du droit de taxer est atteinte (cf. <ref-ruling> consid. 3.2; arrêt 2C_724/2010 du 27 juillet 2011 consid. 6, in RDAF 2012 II 37).
4.2. L'<ref-law> prévoit que le droit de taxer se prescrit par cinq ans à compter de la fin de la période fiscale; en cas de suspension ou d'interruption de la prescription, celle-ci est acquise dans tous les cas quinze ans après la fin de la période fiscale. L'<ref-law> est ainsi le pendant de l'art. 120 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) en matière d'impôt fédéral direct (Bernhard J. Greminger, in Zweifel/Athanas [éd.], Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG], 2e éd. 2002, n° 3 ad <ref-law>). Il convient donc, en vertu du principe d'harmonisation verticale (<ref-ruling> consid. 5.2 p. 72 ss), de donner la même portée à l'<ref-law> (arrêt 2C_999/2014 du 15 janvier 2015 consid. 4.2).
4.3. En matière d'impôt fédéral direct, l'ancien arrêté du Conseil fédéral du 9 décembre 1940 sur la perception d'un impôt fédéral direct (aAIFD) ne prévoyait pas de prescription absolue, contrairement à la LIFD (<ref-law> s'agissant du droit de taxer et <ref-law> concernant le droit de percevoir l'impôt). Estimant qu'il serait choquant et difficilement compatible avec le principe de l'égalité que la prescription de créances nées sous l'ancien droit puisse continuer à courir alors que des créances fiscales nées sous l'empire du nouveau droit, et par conséquent plus récentes, auraient été atteintes par la prescription absolue, le Tribunal fédéral a posé que le délai de prescription absolue de quinze ans du droit de procéder à la taxation de l'<ref-law> et celui de dix ans concernant le droit de percevoir l'impôt prévu à l'<ref-law> devaient être appliqués à titre de dispositions transitoires; la prescription absolue du droit de taxer, qui commence à courir au moment de l'entrée en vigueur du nouveau droit, serait ainsi atteinte en 2010, et au plus tard en 2020 s'agissant du droit de percevoir l'impôt pour les prétentions de l'ancien droit (<ref-ruling> consid. 3 p. 6; arrêt 2C_267/2010 du 8 avril 2011 consid. 5.1 et 5.2).
4.4. Le parallèle peut être tiré s'agissant des anciennes législations cantonales ne connaissant pas de prescription absolue et la LHID qui introduit cette notion. Pour éviter que des prétentions fiscales cantonales nées sous l'ancien droit ne soient pas prescrites, alors que d'autres découlant du droit harmonisé le seraient, il convient d'appliquer les règles posées en matière de LIFD.
La LHID est entrée en vigueur le 1er janvier 1993, mais a laissé aux cantons un délai maximal de huit ans pour adapter leur législation (<ref-law>). Le moment déterminant n'est donc pas celui de l'entrée en vigueur de la LHID, mais le moment où le canton a adapté sa législation (à condition qu'il l'ai adaptée dans le délai, soit au plus tard le 1er janvier 2001; cf. <ref-law>; arrêt 2C_999/2014 précité consid. 4.4). En l'occurrence, les anciennes lois genevoises sur les contributions directes sont entrées en vigueur le 1er janvier 2001 (cf. consid. 3.1 ci-dessus). Toutefois, la LPFisc/GE, qui prévoit la prescription du droit de percevoir l'impôt à son ancien art. 23, n'est entrée en vigueur que le 1er janvier 2002, soit un an après la fin du délai prévu à l'<ref-law>. Partant, la législation genevoise n'ayant pas été harmonisée dans le délai légal, c'est le délai de prescription absolue de quinze ans du droit de taxer découlant de l'<ref-law> qui s'applique, en vertu de l'<ref-law>. La prescription absolue sera donc atteinte en 2016 et ne l'est par conséquent pas encore à ce jour.
5.
Dans un grief dirigé contre l'arrêt du 18 janvier 2005, invoquant l'art. 29 al. 2 Cst., le recourant se plaint de violation de son droit d'être entendu en ce que le Tribunal administratif a rejeté toutes ses offres de preuves par appréciation anticipée.
5.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 282). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 2.2 p. 210; <ref-ruling> consid. 5.2 p. 147 s.; <ref-ruling> consid. 2.1 p. 429).
5.2. En l'espèce, le recourant n'explique pas quelles étaient les offres de preuves que le Tribunal administratif a refusé d'administrer. Il ressort toutefois de l'arrêt du 18 janvier 2005 que le contribuable avait demandé l'audition de cinq témoins et sollicité de la cour cantonale que celle-ci obtienne de notaires des décomptes de frais et pièces en leur possession, afin de démontrer la réalité de certains endettements. L'instance précédente a motivé son refus en expliquant que les offres de preuves étaient purement dilatoires et qu'elles ne permettaient pas de pallier l'absence de pièces écrites probantes, dès lors que, selon elle, le recourant n'avait que peu collaboré alors qu'il aurait pu produire de telles pièces.
5.3. Pour démontrer la violation de son droit d'être entendu, le recourant devait expliquer en quoi l'appréciation anticipée des moyens de preuves proposés constituait une appréciation arbitraire. Il devait par conséquent exposer concrètement en quoi était insoutenable le raisonnement de l'instance précédente qui a considéré que le contribuable avait eu l'occasion de s'exprimer et de produire les pièces requises et qui a en outre affirmé que les pièces versées au dossier, ainsi que les écritures produites par les parties, lui permettaient de trancher le litige en l'état. Le recourant n'a pas procédé à une telle démonstration. Ne répondant pas aux exigences accrues de motivation de l'<ref-law>, son recours, en tant qu'il concerne l'arrêt du 18 janvier 2005 du Tribunal administratif, est irrecevable.
6.
Contre l'arrêt du 27 mai 2014, le recourant se plaint de déni de justice, de violation de son droit d'être entendu et de formalisme excessif. Il estime que c'est à tort que l'instance précédente n'a pas examiné les nouveaux moyens ou les nouvelles pièces soumises dans la procédure fiscale ayant suivi l'arrêt cantonal du 18 janvier 2005. Il est en outre d'avis que la Cour de justice ne pouvait pas s'estimer liée par des injonctions contenues dans son précédent arrêt.
6.1. Le Tribunal administratif, dans son arrêt du 18 janvier 2005, a légèrement modifié le revenu imposable du recourant pour les années fiscales 1988 et 1990 et la fortune imposable pour les années fiscales 1987 et 1988. Il a renvoyé la cause à l'Administration fiscale pour nouvelles taxations dans le sens des considérants, c'est-à-dire pour que celle-ci calcule les d'impôts dus, en tenant compte des montants de revenu et de fortune imposables modifiés.
6.2. Contrairement à ce que semble penser le recourant, la Cour de justice (qui a succédé au Tribunal administratif) est liée par sa décision de renvoi (cf. arrêt 2C_232/2012 du 23 juillet 2012 consid. 1.6). Si elle a déjà tranché une question, en l'occurrence en lien avec le revenu et la fortune imposables des années 1987 à 1991, celle-ci ne peut pas lui être soumise à nouveau dans la même cause (cf. mutatis mutandis <ref-ruling> consid. 2.1 p. 335 s.; Jean-Maurice Frésard, in Corboz et al., Commentaire de la LTF, 2 e éd. 2014, n° 17 ad <ref-law>; Karl Spühler, in Spühler/Aemisegger/Dolge/Vock, Bundesgerichtsgesetz, 2 e éd. 2013, n° 8 ad <ref-law>; Heimgartner/Wiprächtiger, in Niggli/Uebersax/Wiprächtiger, Bundesgerichtsgesetz, 2 e éd. 2011, n° 26 ad <ref-law>). Dans son précédent arrêt, le Tribunal fédéral a d'ailleurs déjà signalé au recourant que la juridiction cantonale avait statué définitivement sur la fixation du revenu et de la fortune (cf. arrêt 2P.82/2005 précité consid. 2.2). En tout état de cause, le recourant ne fait pas valoir d'application arbitraire de dispositions de procédure cantonale à ce sujet.
Dès lors, toutes les offres de preuves que le recourant a formulées devant l'Administration fiscale et la Cour de justice pour justifier de déductions plus importantes et, en conséquence, de montants de revenu et fortune imposables moins élevés, ont justement été rejetées par la Cour de justice (quand bien même on peut se demander si, dans la mesure où le recourant continuait de proposer des moyens de preuve devant l'instance précédente, celle-ci aurait pu ne pas entrer en matière sur certains griefs à ce propos). Ainsi, l'Administration fiscale disposait effectivement d'une latitude de jugement, mais uniquement sur la problématique ayant conduit au renvoi. C'est exclusivement celle-ci qui pouvait ensuite faire l'objet d'un éventuel recours devant la Cour de justice. Cela signifie en l'espèce que seule une éventuelle erreur dans le calcul des impôts 1987 à 1991, fondé sur les chiffres retenus définitivement (au plan cantonal) par l'instance précédente, pouvait constituer l'objet de litige porté devant les juges cantonaux. Le recourant n'articule en l'occurrence aucun grief à ce propos.
En outre, le recourant estime à tort que dans son arrêt du 27 mai 2014, la Cour de justice aurait dû entrer en matière sur ses griefs pour qu'il puisse finalement porter sa cause devant le Tribunal fédéral (ch. 1.5 du mémoire de recours). En effet, ce dernier devait de toute façon en traiter car ils étaient objets de la décision incidente du 18 janvier 2005 (cf. <ref-law>; arrêt 2C_232/2012 ibidem ). Faute de faire l'objet du présent litige, il n'y a pas non plus à déterminer si le recourant pouvait invoquer ses éventuels nouveaux moyens de preuve dans le cadre d'une procédure de révision auprès de la Cour de justice.
6.3. L'instance précédente ayant valablement refusé de prendre en compte de nouveaux moyens de preuve et arguments en relation avec les revenus et fortunes imposables des années fiscales 1987 à 1991, et ayant justement constaté qu'elle était liée sur ce point à l'arrêt du Tribunal administratif du 18 janvier 2005, il ne saurait être question de déni de justice, de violation du droit d'être entendu ou de formalisme excessif. Tous ces griefs partent en effet du faux postulat que l'instance précédente n'était pas du tout liée par son arrêt précédent. Le recours, en tant qu'il concerne l'arrêt du 27 mai 2014 de la Cour de justice, doit donc être rejeté.
7.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Succombant, le recourant supporte les frais judiciaires (cf. <ref-law>). Il n'est pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 15'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale et à la Cour de justice de la République et canton de Genève, Chambre administrative, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 15 janvier 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette