Faits :
A.
B.A._ et A.A._ sont mariés et domiciliés dans le canton de Genève. A.A._ exerce la profession d'architecte et exploite une entreprise individuelle inscrite au registre du commerce depuis 1989. En 1998, il a créé la société A._ SA, dont il est l'unique administrateur et actionnaire. Cette société a pour but l'exploitation de mandats d'architecture et de contrats d'entreprise, ainsi que le courtage immobilier.
Pour les années 2001 à 2007, les époux A._ ont régulièrement transmis leurs déclarations d'impôt à l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) qui les a taxés en conséquence. Les décisions de taxation sont toutes entrées en force.
B.
Le 14 octobre 2011, l'Administration fiscale a informé les époux A._ de l'ouverture d'une procédure en rappel et soustraction d'impôt pour les impôts cantonal et communal (ci-après: ICC) et l'impôt fédéral direct (ci-après: IFD) des périodes fiscales 2001 à 2007. Le 19 octobre 2012, l'Administration fiscale a requis divers documents de la part des contribuables, notamment le relevé détaillé de deux comptes bancaires, ce à quoi ceux-ci n'ont pas donné suite, produisant à la place l'état de ces deux comptes à la fin des années en cause. Le 16 juin 2014, l'Administration fiscale a clos la procédure en rappel et soustraction d'impôt et a transmis aux contribuables des décisions fixant les reprises pour les années 2001 à 2007 en procédant en particulier à une taxation d'office, ajoutant un montant de 245'000 fr. de revenu aux revenus imposables des intéressés par période fiscale. Elle a également fait parvenir des amendes pour soustraction d'impôt, dont la quotité a été fixée à une fois l'impôt soustrait. Le 16 juillet 2014, les époux A._ ont élevé réclamation à l'encontre des décisions du 16 juin 2014. Celle-ci a été partiellement admise par l'Administration fiscale le 23 mai 2016, la quotité de l'amende ayant notamment été réduite à 0,75 fois l'impôt soustrait. Le 20 juin 2016, les contribuables ont recouru auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) en concluant notamment à l'annulation des reprises de 245'000 fr. de revenu pour chacune des années sous revue et à la réduction des amendes à 0,3 fois l'impôt soustrait. Après avoir procédé à l'audition des parties le 28 novembre 2017, le Tribunal administratif de première instance, par jugement du 24 janvier 2018, a partiellement admis le recours, car le droit de procéder au rappel d'impôt de la période fiscale 2001 (IFD et ICC) était prescrit, au même titre que l'action pénale des années 2001 à 2003 (les amendes 2002 et 2003 n'ayant pas été formellement annulées par le Tribunal administratif de première instance). Les époux A._ ont contesté ce jugement le 28 février 2018 auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) qui, par arrêt du 27 novembre 2018, a partiellement admis le recours en constatant la prescription du droit de procéder au rappel d'impôt de la période fiscale 2002 (IFD et ICC) et, formellement, la prescription de l'infraction de soustraction d'impôt pour l'ICC et l'IFD des années 2002 et 2003.
C.
Dans un acte intitulé "MÉMOIRE DE RECOURS", B.A._ et A.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler les rappels d'impôt relatifs à l'ICC et l'IFD, ainsi que les amendes correspondantes pour les années 2001 à 2007; subsidiairement de réduire significativement la reprise de 245'000 fr. par an pour les années 2003 à 2007 et la quotité de l'amende à 0,3% des rappels éventuellement maintenus.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale et l'Administration fédérale des contributions concluent toutes deux au rejet du recours. Dans des observations finales, B.A._ et A.A._ confirment leur conclusions.

Considérant en droit :
1.
1.1. L'absence de dénomination du recours ne saurait nuire aux recourants si leur acte répond aux exigences de la voie de droit à disposition (cf. quant à la désignation erronée de la voie de droit: <ref-ruling> consid. 1.1 p. 370).
1.2. L'arrêt attaqué constitue une décision finale (<ref-law>) rendue dans une cause de droit public par une autorité judiciaire supérieure de dernière instance cantonale (art. 82 let. a et 86 al. 1 let. d et al. 2 LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est donc en principe ouverte en vertu des <ref-law>, 146 LIFD (RS 642.11) et 73 al. 1 de la loi du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14). Le recours a par ailleurs été interjeté en temps utile (cf. <ref-law>), par les destinataires de l'arrêt attaqué, qui ont qualité pour recourir (<ref-law>). Il convient donc d'entrer en matière, sous réserve de ce qui suit.
1.3. Dans la mesure où les recourants demandent l'annulation de " tous les bordereaux en rappel d'impôt relatifs à l'ICC et l'IFD ainsi que les bordereaux d'amende correspondants ", leur conclusion est irrecevable en raison de l'effet dévolutif complet du recours auprès de la Cour de justice (<ref-ruling> consid. 1.2 p. 543). S'ils ne prennent aucune conclusion en relation avec l'arrêt entrepris, on peut toutefois comprendre à la lecture des motifs (cf. arrêt 4A_375/2012 du 20 novembre 2012 consid. 1.2 et les références, non publié in <ref-ruling>) que les recourants ne veulent payer aucun montant à titre de rappel d'impôt, ni être amendés en raison d'une soustraction d'impôt. Il ressort en outre de leurs autres conclusions, qu'ils désirent subsidiairement une réduction du montant d'impôt et du rappel d'impôt, respectivement des amendes qui ont été prononcées à leur encontre. Dans cette mesure, on peut admettre la recevabilité de leurs conclusions.
1.4. L'objet de la contestation porté devant le Tribunal fédéral est déterminé par l'arrêt attaqué. L'objet du litige, délimité par les conclusions des parties (<ref-law>), ne saurait s'étendre au-delà de l'objet de la contestation. Par conséquent, devant le Tribunal fédéral, le litige peut être réduit, mais ne saurait être ni élargi, ni transformé par rapport à ce qu'il était devant l'autorité précédente, qui l'a fixé dans le dispositif de l'arrêt entrepris (et qui est devenu l'objet de la contestation devant le Tribunal fédéral; <ref-ruling> consid. 4.4.2 p. 156 et les références).
En l'occurrence, la Cour de justice a constaté la prescription du droit de procéder au rappel d'impôt pour l'année 2002 et l'a confirmée, dans ses motifs, pour l'année 2001. Elle a en outre également constaté la prescription de la poursuite pénale de la soustraction d'impôt pour les années 2002 et 2003 et l'a confirmée pour l'année 2001. Par conséquent, la présente cause ne porte plus que sur le rappel d'impôt en matière d'IFD et d'ICC des années 2003 à 2007 et sur la soustraction d'impôt en matière d'IFD et d'ICC des années 2004 à 2007. Par conséquent, dans la mesure où les recourants concluent à l'annulation des rappels d'impôt et des amendes des années 2001 et 2002, respectivement 2003 s'agissant de l'amende, leurs conclusions sont irrecevables car hors de l'objet de la contestation. Les autorités précédentes ont en effet constaté la prescription du droit de procéder au rappel d'impôt, respectivement de l'action pénale pour ces périodes fiscales.
2.
Les recourants contestent la reprise, intervenue dans le cadre de taxations d'office, d'un montant de 245'000 fr. au titre de leur revenu lors de chacune des périodes fiscales encore en cause. Ils estiment en substance que l'autorité précédente s'est à tort fondée sur leur taxation de l'année 2008, lors de laquelle ils n'avaient pas déclaré un montant de 245'713 fr. 69, montant qui, selon eux, constituait un revenu qui ne présentait pas un caractère récurrent. Les recourants demandent que leur taxation d'office prenne en compte leur train de vie.
3.
En l'absence d'une réglementation expresse contraire, le droit applicable à la taxation est celui en vigueur pendant la période fiscale en cause. Le rappel d'impôt relevant du droit matériel, le droit applicable obéit aux mêmes règles (arrêt 2C_874/2019 du 17 avril 2019 consid. 4 et les références).
En matière d'IFD, la LIFD, entrée en vigueur le 1 er janvier 1995, est ainsi applicable aux périodes litigieuses. L'ICC est régi par l'ancienne loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid (aLIPP-V/GE; abrogée au 31 décembre 2009; cf. art. 69 al. 1 let. e de la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques [LIPP/GE; RSGE D 3 08]), par la loi genevoise de procédure fiscale du 4 octobre 2001 (LPFisc/GE; RSGE D 3 17), ainsi que par la LHID, entrée en vigueur le 1 er janvier 1993, avec un délai pour les cantons au 31 décembre 2000 pour adapter leur législation (<ref-law>).
4.
La prescription ou la péremption sont des questions de droit matériel que le Tribunal fédéral examine d'office lorsqu'elles jouent en faveur du contribuable (cf. <ref-ruling> consid. 3.2 p. 171) tant pour l'IFD que l'ICC, lorsque celles-ci se fondent sur le droit fédéral (cf. <ref-ruling> consid. 3.4 p. 172; arrêts 2C_333/2017 du 12 avril 2018 consid. 8; 2C_12/2017 du 23 mars 2018 consid. 4.3, non publié in <ref-ruling>).
4.1. L'<ref-law> prévoit que le droit d'introduire une procédure de rappel d'impôt s'éteint dix ans après la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou pour laquelle la taxation entrée en force était incomplète. Le droit de procéder au rappel d'impôt s'éteint quinze ans après la fin de la période fiscale à laquelle il se rapporte (<ref-law>; cf. <ref-ruling> consid. 6.1 p. 73). Les art. 61 al. 1 et 3 LPFisc/GE et 53 al. 2 et 3 LHID posent les mêmes principes. La problématique peut donc être examinée conjointement pour l'IFD et l'ICC.
En l'occurrence, il ressort des faits de l'arrêt entrepris qu'un avis d'ouverture de la procédure de rappel d'impôt a été notifié aux recourants en octobre 2011 pour l'IFD et l'ICC 2003 à 2007. Le délai de prescription de dix ans des <ref-law>, 61 al. 1 LPFisc/GE et 53 al. 2 LHID a ainsi été respecté. En revanche, s'agissant du délai de péremption relatif au droit de procéder au rappel d'impôt pour l'année fiscale 2003 (<ref-law>, 61 al. 3 LPFisc/GE et 53 al. 3 LHID), celui-ci est survenu à la fin de l'année 2018, si bien qu'à l'instar des périodes fiscales 2001 et 2002, le droit de procéder au rappel d'impôt pour la période fiscale 2003 est également périmé. Pour le droit de procéder au rappel d'impôt des années 2004 à 2007, celui-ci n'est ni prescrit, ni périmé.
4.2. Avant le 1 er janvier 2017, la poursuite pénale de la soustraction consommée se prescrivait dans tous les cas par quinze ans à compter de la fin de la période fiscale pour laquelle la taxation n'avait pas été effectuée ou l'avait été de façon incomplète, ce délai ne pouvant être prolongé (ancien <ref-law> [RO 1991 1184] cum <ref-law>, en relation avec l'<ref-ruling>). La prescription était en outre interrompue par tout acte de procédure tendant à la poursuite du contribuable (ancien <ref-law>). Depuis le 1 er janvier 2017, la poursuite pénale se prescrit, en cas de soustraction d'impôt consommée, au plus tôt, par dix ans à compter de la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée ou l'a été de façon incomplète (art. 184 al. 1 let. b ch. 1 LIFD). Selon l'<ref-law> actuellement en vigueur, la prescription ne court plus si une décision a été rendue par l'autorité cantonale compétente (<ref-law>) avant l'échéance du délai de prescription. L'art. 58 al. 1, al. 2 let. a et al. 3 LHID, en vigueur depuis le 1 er janvier 2017, a un contenu identique à celui de l'<ref-law>; il est directement applicable si les cantons n'ont pas adapté leur législation au 1 er janvier 2017 (<ref-law>; cf. art. 77 LPFisc/GE dont l'al. 2 diffère de l'<ref-law>). En vertu des <ref-law> et 78f LHID, le nouveau droit est applicable au jugement des infractions commises au cours des périodes fiscales précédant le 1 er janvier 2017 s'il est plus favorable que le droit en vigueur au cours de ces périodes fiscales (cf. arrêts 2C_333/2017 du 12 avril 2018 consid. 8.2; 2C_12/2017 du 23 mars 2018 consid. 4.3, non publié in <ref-ruling>).
En l'occurrence, en application du nouveau droit, la poursuite pénale de la soustraction d'impôt consommée reprochée aux recourants au cours des périodes fiscales 2004 à 2007 ne s'est pas prescrite, dès lors que l'Administration fiscale a rendu une décision le 16 juin 2014, soit avant le délai de dix ans après la fin des périodes fiscales en cause. En application de l'ancien droit, la poursuite pénale des périodes fiscales 2004 à 2007 ne s'est pas non plus prescrite, dès lors que le 14 octobre 2011, l'Administration fiscale a informé les contribuables de l'ouverture de la procédure (cf. ancien <ref-law>).
5.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
En l'espèce, les recourants ne font à aucun moment référence à un éventuel établissement inexact des faits opéré par la Cour de justice. En revanche, il présentent à plusieurs reprises leurs propres vision et appréciation des faits, notamment en relation avec des revenus et des dépenses qu'ils auraient prétendument eus durant les années sous revue. Une telle manière de procéder, valable devant une cour d'appel, ne respecte pas les conditions de motivation posées par l'<ref-law>, raison pour laquelle le Tribunal fédéral vérifiera la correcte application du droit sur la seule base des faits retenus par l'autorité précédente.
I. Impôt fédéral direct
6.
6.1. Aux termes de l'<ref-law>, lorsque des moyens de preuve ou des faits jusque-là inconnus de l'autorité fiscale lui permettent d'établir qu'une taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts. Le rappel d'impôt est soumis à des conditions objectives. Il faut d'abord qu'une taxation n'ait, à tort, pas été établie ou soit restée incomplète, de sorte que la collectivité publique a subi une perte fiscale. Le rappel d'impôt suppose ensuite l'existence d'un motif de rappel. A cet égard, l'<ref-law> envisage en premier lieu la découverte de moyens de preuve ou de faits jusque-là inconnus de l'autorité fiscale. Il y a ainsi motif à rappel d'impôt lorsque l'autorité découvre des faits ou des moyens de preuve qui ne ressortaient pas du dossier dont disposait l'autorité fiscale au moment de la taxation. Le rappel d'impôt ne peut porter que sur les points pour lesquels l'autorité fiscale dispose de nouveaux éléments (arrêt 2C_760/2017 du 15 juin 2018 consid. 6.1 et les références).
6.2. A teneur de l'<ref-law>, les autorités de taxation établissent les éléments de fait et de droit permettant une taxation complète et exacte, en collaboration avec le contribuable. La procédure de taxation est ainsi caractérisée par la collaboration réciproque de l'autorité fiscale et du contribuable (procédure de taxation mixte). Le contribuable est tenu de faire tout ce qui est nécessaire pour assurer une taxation complète et exacte (<ref-law>). Il doit en particulier remplir la déclaration d'impôt de manière conforme à la vérité et complète (<ref-law>) et fournir les documents nécessaires (<ref-law>). A la demande de l'autorité de taxation, il est tenu de fournir tout renseignement écrit ou oral, spécialement lorsque, au vu de la déclaration d'impôt, des questions surgissent par exemple à propos des revenus, des frais d'acquisition ou de l'évolution de la fortune (cf. <ref-law>). Le contribuable porte ainsi la responsabilité de l'exactitude de sa déclaration (arrêt 2C_129/2018 du 24 septembre 2018 consid. 5.1 et les références).
Selon l'art. 130 al. 2 phr. 1 LIFD, l'autorité de taxation effectue la taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou que les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Outre la condition d'une sommation, l'<ref-law> prévoit deux conditions ouvrant la procédure de taxation d'office: 1) le contribuable n'a pas satisfait à ses obligations de procédure ou 2) les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Une interprétation textuelle de cette disposition (conjonction "ou") laisse entendre que ces deux conditions sont alternatives. En vertu d'une telle interprétation, la seule violation d'obligations de procédure suffirait pour que l'autorité de taxation soit habilitée à procéder à une taxation d'office (après sommation). Il ressort toutefois de la jurisprudence constante que le droit de procéder à une taxation d'office suppose fondamentalement qu'il existe, ou qu'il subsiste, après examen par l'autorité de taxation, une incertitude dans les faits qui empêche cette dernière de procéder à la taxation de manière complète et exacte (arrêt 2C_544/2018 du 21 décembre 2018 consid. 3.3 et les références).
6.3. En l'occurrence, il ressort des faits retenus par l'autorité précédente que, pour les années 2004 à 2007, les recourants ont été valablement taxés par l'Administration fiscale, les taxations relatives à ces périodes fiscales étant toutes entrées en force. Par la suite, dans le cadre de la procédure de taxation de la période fiscale 2008, l'Administration fiscale a constaté que la société du recourant lui avait versé des honoraires à hauteur d'environ 245'000 fr. et que celui-ci ne les avait pas déclarés. L'Administration fiscale a alors ouvert la procédure dont est recours et demandé aux contribuables qu'ils produisent des relevés détaillés de comptes bancaires dont ils étaient titulaires, ce que ceux-ci ont refusé de faire, se limitant à transmettre l'état de ces comptes au 31 décembre des années 2001 à 2007. Face à ce refus, l'Administration fiscale, le 5 juin 2013, a sommé les recourants de lui remettre les documents demandés, sous peine de taxation d'office. Ensuite de leur refus, elle a rendu la décision de rappel d'impôt le 16 juin 2014, constatant en plus que dans les documents bancaires remis par les intéressés, des crédits demeuraient inexpliqués, notamment pour l'année 2002. Dans l'arrêt entrepris, la Cour de justice a ajouté que les relevés annuels transmis par les recourants n'indiquaient pas une forte variation durant les périodes considérées, mais que, faute de disposer d'une vue des différents mouvements sur ces comptes, l'Administration fiscale ne pouvait pas exclure que des sommes éventuellement non déclarées y aient transité, comme durant l'année 2002, ce d'autant moins sur le vu des autres comptes non déclarés des recourants dont l'existence n'a été révélée que durant la procédure de rappel d'impôt. L'autorité précédente a également écarté l'argument des recourants, voulant que les revenus de 2008 étaient exceptionnels, dès lors que ceux-ci n'avaient apporté aucun moyen de preuve pour étayer leurs allégations.
6.4. Compte tenu des faits qui précèdent, il convient de confirmer aussi bien la procédure de rappel d'impôt que la voie de la taxation d'office. Tout d'abord, s'agissant du rappel d'impôt, dont les recourants ne contestent au demeurant pas que les conditions d'application soient réunies, force est de constater que, lorsque l'Administration fiscale a ouvert la procédure, elle avait d'importants doutes sur l'existence de revenus non déclarés pour les périodes 2001 à 2007. Elle avait en effet découvert l'existence de revenus issus d'honoraires dans le cadre de la procédure de taxation 2008. Par la suite, ses doutes n'ont pu que s'accentuer en raison de la production, par les recourants, de comptes qui n'avaient pas été déclarés durant la procédure ordinaire. Finalement, les rappels en cause se sont définitivement justifiés lorsque les recourants ont catégoriquement refusé de produire des documents qui auraient permis à l'autorité de taxation de lever les doutes qu'elle avait.
Quant à la taxation d'office, force est également de constater que la Cour de justice n'a pas violé l'<ref-law> en confirmant son application. Les recourants ont en effet refusé de produire des relevés détaillés de leurs comptes bancaires, contrevenant ainsi à leurs obligations de procédure et laissant de ce fait subsister une incertitude dans les faits qui a empêché l'Administration fiscale de procéder à la taxation de manière complète et exacte. Dans la mesure où ils expliquent que ces relevés bancaires ne sont plus disponibles en raison du fait que plus de dix ans se sont écoulés depuis les années en cause, on ne peut qu'écarter leur argumentation. L'Administration fiscale a en effet demandé pour la première fois la production de ces moyens de preuve en 2012, soit moins de dix ans avant les années 2004 à 2007 litigieuses en l'espèce.
Cette autorité a repris un montant de 245'000 fr. de revenu pour chacune des années sous revue, ce que les recourants contestent, estimant qu'elle aurait dû tenir compte de leur train de vie. S'agissant de ce montant, il convient de relever en tout premier lieu que les recourants n'en ont pas démontré le caractère manifestement inexact (cf. <ref-law>), ne produisant en particulier aucun moyen de preuve devant l'autorité précédente. Ils relèvent certes que durant l'année 2008, période sur laquelle l'Administration fiscale s'est fondée pour arrêter le montant en cause, le recourant a perçu des honoraires présentant un caractère exceptionnel. Toutefois, il ne s'agit-là que de simples affirmations qui ne sont étayées par aucun élément de preuve. En l'absence d'autres éléments pertinents, on ne saurait faire grief à l'autorité précédente d'avoir confirmé la reprise d'un montant de 245'000 fr., dans la mesure où celui-ci correspond à une somme perçue en 2008, qui a été dûment établie, pour une activité d'architecte du recourant. Dans un tel cas de figure, on ne voit au demeurant pas en quoi le train de vie des recourants serait plus pertinent pour déterminer le montant de la reprise. Il ne faut pas oublier que ceux-ci ont systématiquement refusé de remettre les documents demandés par les autorités fiscales. Ils sont donc mal venus d'expliquer à ces autorités, en se fondant sur des faits qui ne ressortent aucunement de l'arrêt entrepris, que la prise en compte de leur train de vie serait plus précise pour déterminer leur revenu que les pièces attestant de la perception d'un tel montant en 2008.
6.5. C'est par conséquent sans violer le droit fédéral, et en particulier les art. 130 al. 1 et 151 al. 1 LIFD, que la Cour de justice a confirmé le rappel d'impôt des années 2004 à 2007 et la taxation d'office des recourants. Les griefs de violation de la sphère privée et de la liberté personnelle au sens des art. 10 et 13 Cst., ne peuvent également qu'être écartés. Pour autant que ces dispositions puissent être invoquées et que la motivation des recourants à leur propos soit suffisante (cf. <ref-law>), force est de constater que la restriction de ces droits fondamentaux est fondée sur une base légale suffisante, répond à un intérêt public et est proportionnée (cf. art. 36 Cst.). Les recourants se limitent d'ailleurs à invoquer une disproportion de la mesure. Or, sur le vu de ce qui a été exposé ci-avant (cf. consid. 6.4 ci-dessus), on ne voit pas quelle mesure moins incisive que la production de relevés bancaires aurait été envisageable pour obtenir une taxation fidèle à la réalité économique des recourants.
7.
Si, dans leurs conclusions principales, les recourants demandent l'annulation des amendes et, dans leurs conclusions subsidiaires, que le montant de leurs amendes soit réduit à 0,3 fois le montant de l'impôt soustrait, ils ne motivent toutefois aucunement ces conclusions (cf. art. 42 al. 1 et 2 LTF).
On peut donc confirmer l'arrêt entrepris en tant qu'il porte sur la condamnation pour soustraction d'impôt. Il présente en effet les bases légales topiques (cf. <ref-law>), ainsi que la jurisprudence applicable, notamment en matière de mesure de la peine (cf. <ref-ruling> consid. 7.2.1 p. 147 et les références). La Cour de justice a ainsi constaté que les taxations des recourants pour les années 2004 à 2007, entrées en force, étaient incomplètes, remplissant de ce fait l'élément objectif de l'infraction de soustraction d'impôt. En outre, elle a également jugé à juste titre que les recourants avaient agi intentionnellement, ou à tout le moins par dol éventuel, dans la mesure où ils ne pouvaient ignorer qu'en ne déclarant pas les revenus perçus durant les années en cause, leurs taxations pouvaient se révéler incomplètes. Elle a finalement à bon droit confirmé la quotité de l'amende, fixée à 0,75 fois l'impôt soustrait, prenant en compte le fait que les recourants n'avaient pas déclaré d'importants revenus sur une longue période, mais également le fait qu'ils avaient collaboré par la suite. Rien ne justifie de réduire cette quotité, comme semble le penser les recourants.
8.
Sur le vu de ce qui précède, il convient donc d'admettre partiellement le recours, dans la mesure où il est recevable, en tant qu'il a trait à l'impôt fédéral direct et d'annuler l'arrêt entrepris dans la mesure où celui-ci concerne le rappel d'impôt de l'année 2003 (prescription). Le recours doit être rejeté pour le surplus.
II. Impôts cantonal et communal
9.
Concernant les conditions du rappel d'impôt, les art. 53 al. 1 phr. 1 LHID et 59 al. 1 LPFisc/GE correspondent à l'<ref-law> (cf. arrêt 2C_760/2017 du 15 juin 2018 consid. 7.3 et références). En outre, pour ce qui relève de la taxation d'office, la teneur de l'<ref-law>, respectivement de l'<ref-law> correspond à celle des art. 46 al. 3 et 48 al. 2 LHID, ainsi que des art. 37 al. 1 et 39 al. 2 LPFisc/GE. Par conséquent, les considérations développées pour l'impôt fédéral direct concernant le rappel d'impôt et la taxation d'office s'appliquent aussi aux impôts cantonal et communal pour les périodes fiscales sous examen. En outre, d'un point de vue des impôts cantonal et communal, les dispositions de la LHID (art. 56 al. 1 et 2 LHID) et du droit cantonal genevois (art. 69 et 70 LPFisc/GE) relatives à la soustraction d'impôt ont des teneurs et une portée similaires à celles de la LIFD (cf. arrêt 2C_125/2018 du 24 septembre 2018 consid. 10.1). Il s'ensuit que les motifs qui ont conduit à l'admission partielle du recours en matière d'impôt fédéral direct (dans la mesure où la période fiscale 2003 est prescrite) s'appliquent également en matière d'impôts cantonal et communal. Pour ces impôts aussi, les griefs des recourants doivent par conséquent être écartés pour le surplus.
10.
Les considérants qui précèdent conduisent à l'admission partielle du recours dans la mesure où il est recevable, tant en matière d'IFD que d'ICC. Succombant dans une très large mesure, les recourants doivent supporter la plus grande partie des frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF), le solde étant à la charge du canton de Genève, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu (art. 66 al. 1 et 4 LTF). En tant qu'il succombe partiellement, le canton de Genève sera condamné à verser aux recourants des dépens réduits (<ref-law>), aucun dépens ne lui étant alloué (<ref-law>). Il ne se justifie en outre pas de répartir autrement les frais de la procédure antérieure (cf. <ref-law>), puisqu'au moment du prononcé de l'arrêt entrepris, la période fiscale 2003 n'était pas encore prescrite (cf. arrêt 2C_874/2018 du 17 avril 2019 consid. 13).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, dans la mesure où il est recevable, en tant qu'il concerne l'impôt fédéral direct et l'arrêt de la Cour de justice du 27 novembre 2018 est annulé dans la mesure où il a trait à la période fiscale 2003. Le recours est rejeté pour le surplus.
2.
Le recours est partiellement admis, dans la mesure où il est recevable, en tant qu'il concerne les impôts cantonal et communal et l'arrêt de la Cour de justice du 27 novembre 2018 est annulé dans la mesure où il a trait à la période fiscale 2003. Le recours est rejeté pour le surplus.
3.
Les frais judiciaires, arrêtés à 13'000 fr., sont mis pour 11'700 fr. à la charge des recourants, solidairement entre eux, et pour 1'300 fr. à la charge du canton de Genève.
4.
Le canton de Genève versera aux recourants la somme de 1'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué à la représentante des recourants, à l'Administration fiscale cantonale et à la Chambre administrative de la Cour de justice de la République et canton de Genève, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 4 juillet 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette