Faits:
A.
Les époux H.X._ et F.X._ étaient domiciliés à Genève entre le 1 er janvier 2005 et le 31 [sic] avril 2008. Il ressort du dossier qu'ils sont propriétaires d'un immeuble à Genève (<ref-law>).
A.a. Le 4 avril 2007, ils ont été taxés d'office par l'Administration fiscale cantonale genevoise (ci-après: l'Administration fiscale) pour l'année 2005, sur la base d'un revenu imposable de 108'382 fr. et d'une fortune imposable de 513'136 fr. pour l'impôt cantonal et communal (ci-après: ICC) et d'un revenu imposable de 108'300 fr. pour l'impôt fédéral direct (ci-après: IFD). Le 10 décembre 2007, ils ont été taxés d'office pour l'année 2006, sur la base d'un revenu imposable de 119'200 fr. et d'une fortune imposable de 564'450 fr. pour l'ICC et d'un revenu imposable de 119'100 fr. pour l'IFD.
Le 21 décembre 2007, les époux X._ ont déposé leurs déclarations d'impôt 2005 et 2006 par l'intermédiaire de leur mandataire, H.X._ justifiant la négligence de ses obligations fiscales par de nombreux problèmes familiaux. La déclaration fiscale 2005 faisait état d'un revenu de 15'920 fr. et d'une fortune de 801'313 fr. imposables au titre de l'ICC et d'un revenu imposable de 18'085 fr. pour l'IFD. La déclaration fiscale 2006 mentionnait un revenu de 68'765 fr. et une fortune de 981'564 fr. imposables au titre de l'ICC et un revenu imposable de 69'972 fr. pour l'IFD.
Le 13 mars 2008, le Service immobilier de l'Administration fiscale a imparti aux époux X._, à l'adresse de leur mandataire, un délai au 27 mars 2008 pour lui faire parvenir des documents relatifs à un immeuble leur appartenant à Genève aux fins de procéder à leur taxation pour les périodes fiscales 2005 et 2006, demande réitérée le 25 avril 2008 et assortie d'un nouveau délai échéant au 27 mars [recte: 19 mai] 2008. Les documents sollicités auraient été envoyés à l'Administration fiscale par pli simple le 13 mai 2008 par le mandataire des contribuables. Le 17 février 2009, le service de taxation B de l'Administration fiscale a adressé un courrier recommandé aux époux X._, leur impartissant un délai au 27 février 2009 pour produire des pièces nécessaires à l'examen des réclamations qu'ils avaient formées pour les années 2005 et 2006 (soit l'envoi de leurs déclarations fiscales 2005 et 2006), sans quoi celles-ci seraient déclarées irrecevables. Par décisions sur réclamation du 19 mars 2009, l'Administration fiscale a prononcé l'irrecevabilité des réclamations susmentionnées au motif qu'elles ne répondaient pas aux exigences de preuve, malgré la demande recommandée du 17 février 2009. Ces décisions n'ont pas fait l'objet d'un recours. Les 18 et 30 novembre 2009, les époux X._ ont demandé à l'Administration fiscale de leur faire parvenir les décisions de taxation résultant de leurs déclarations fiscales 2005 et 2006; en réponse, l'Administration fiscale leur a transmis, le 9 décembre 2009, copie des deux décisions sur réclamation du 19 mars 2009.
A.b. Le 8 septembre 2008, l'Administration fiscale a procédé à la taxation d'office des époux X._ pour l'année 2007, sur la base d'un revenu imposable de 187'698 fr. et d'une fortune imposable de 1'985'803 fr. pour l'ICC et d'un revenu imposable de 274'100 fr. pour l'IFD. Le 27 novembre 2009, les intéressés ont transmis à l'Administration fiscale leur déclaration d'impôt 2007 par l'intermédiaire de leur mandataire, faisant état d'un revenu imposable de 51'809 fr. et d'une fortune imposable de 1'155'875 pour l'IFD [recte: ICC; le revenu imposable pour l'IFD s'élevant à 53'637 fr. selon la déclaration d'impôt figurant au dossier]. Traitant cet envoi comme une réclamation, l'Administration fiscale l'a déclarée irrecevable le 10 décembre 2009.
Le 3 août 2009, l'Administration fiscale a procédé à la taxation d'office des époux X._ pour l'année 2008, sur la base d'un revenu imposable de 180'698 fr. et d'une fortune imposable de 1'755'462 fr. pour l'ICC et d'un revenu imposable de 256'600 fr. pour l'IFD. Le 30 novembre 2009, les époux X._ ont transmis à l'Administration fiscale leur déclaration d'impôt 2008 par l'intermédiaire de leur mandataire, celle-ci faisant état d'un revenu imposable de 41'520 fr. et d'une fortune imposable de 1'659'864 fr. pour l'ICC et d'un revenu imposable de 40'899 fr. pour l'IFD. Traitant cet envoi comme une réclamation, l'Administration fiscale l'a déclarée irrecevable le 3 décembre 2009.
B.
Le 13 janvier 2010, les contribuables ont déposé un recours auprès de la Commission cantonale de recours en matière administrative, remplacée le 1er janvier 2011 par le Tribunal administratif de première instance (ci-après: le Tribunal administratif) contre les décisions sur réclamation du 19 mars 2009, transmises en copie le 9 décembre 2009, concernant les périodes fiscales 2005 et 2006, la décision sur réclamation du 10 décembre 2009 concernant la période fiscale 2007 et la décision sur réclamation du 3 décembre 2009 concernant la période fiscale 2008.
Le 11 avril 2011, le Tribunal administratif a rejeté le recours.
Le 27 mai 2011, les époux X._ ont recouru contre ce jugement auprès de la Chambre administrative de la Cour de justice (ci-après: la Cour de justice), qui a également rejeté le recours le 12 mars 2013.
C.
Agissant par la voie du recours en matière de droit public au Tribunal fédéral, H.X._ et F.X._ concluent, avec suite de frais et " d'indemnité de procédure ", à l'annulation de l'arrêt de la Cour de justice, au renvoi de la cause au Tribunal administratif ou à l'Administration fiscale pour notification de nouveaux bordereaux d'impôt conformes à leurs déclarations fiscales pour les années 2005, 2006 et 2007, au renvoi de la cause au Tribunal administratif ou à l'Administration fiscale cantonale pour notification d'un nouveau bordereau d'impôt ICC 2008 tenant compte de leur domicile vaudois, le Tribunal fédéral étant requis de constater que les recourants n'étaient pas assujettis à l'IFD à Genève en 2008. A titre subsidiaire, ils demandent au Tribunal fédéral qu'il les autorise à acheminer la preuve des faits allégués dans leur mémoire de recours.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale conclut au rejet du recours, de même que l'Administration fédérale des contributions.
Le 26 septembre 2013, le Président de la Cour de céans a rejeté la requête d'effet suspensif contenue dans le recours.
Le 5 octobre 2013, les recourants ont fait parvenir à la Cour de céans des observations finales.

Considérant en droit:
1.
La Cour de justice a rendu une seule décision valant tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal, ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. <ref-ruling> consid. 1.3.1 p. 262 s.; arrêt 2C_973/2012 du 4 octobre 2013 consid. 1). Dans ces circonstances, on ne peut reprocher aux recourants d'avoir, dans leur recours au Tribunal fédéral, formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôt (<ref-ruling> consid. 1.3.3 p. 264; arrêt 2C_973/2012 du 4 octobre 2013 consid. 1). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues lorsque l'impôt fédéral direct et l'impôt cantonal et communal sont en jeu, la Cour de céans a toutefois ouvert deux dossiers (causes 2C_357/2013 et 2C_358/2013). Comme l'état de fait est identique et que les questions juridiques se recoupent, les causes seront néanmoins jointes et il sera statué dans un seul arrêt (<ref-law> et 24 de la loi de procédure civile fédérale du 4 décembre 1947; RS 273).
2.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 44; arrêt 2C_104/2013 du 27 septembre 2013 consid. 1.1).
2.1. Sur le fond, l'arrêt attaqué concerne les taxations d'office prononcées par l'Administration fiscale pour les années 2005 à 2008. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte en application de l'<ref-law>. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme l'existence de cette voie de droit pour l'impôt fédéral direct; s'agissant des impôts cantonal et communal, la réclamation contre une taxation d'office étant une matière harmonisée à l'art. 48 al. 2 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est aussi réservée à l'<ref-law>.
2.2. Les recourants formulent des conclusions partiellement réformatoires. Le Tribunal fédéral a jugé que de telles conclusions étaient recevables également en ce qui concerne le droit cantonal harmonisé, car l'<ref-law>, qui prévoit qu'en cas d'acceptation du recours, le Tribunal fédéral annule la décision attaquée et renvoie l'affaire pour nouvelle décision à l'autorité inférieure, doit céder le pas devant l'<ref-law> qui confère au Tribunal fédéral un pouvoir général de réforme quel que soit le recours interjeté devant lui (cf. <ref-ruling> consid. 1.3.2 p. 263; <ref-ruling> consid. 1 p. 209; arrêt 2C_83/2009 du 8 mai 2009 consid. 1.3). En revanche, la conclusion subsidiaire qu'ils formulent est irrecevable, car celle-ci dépasse l'objet du litige, qui ne porte que sur la recevabilité des réclamations, et non sur leur bien-fondé.
2.3. Au surplus, déposé en temps utile (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF). Par ailleurs, il a été interjeté par les contribuables destinataires de la décision attaquée, qui ont un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il convient donc d'entrer en matière.
3.
Le Tribunal fédéral examine d'office le droit fédéral (art. 95 let. a et 106 al. 1 LTF), ainsi que le droit cantonal harmonisé (ATF <ref-ruling> consid. 2 p. 210; arrêts 2C_907/2012 et 2C_908/2012 du 22 mai 2013 consid. 3). Il fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 2.4 p. 5) - ou en violation du droit (<ref-law>). Le recourant qui entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>) doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées (<ref-law>) et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356; arrêts 2C_146/2013 du 4 septembre 2013 consid. 2; 2C_684/2012 du 5 mars 2013 consid. 3, in RDAF 2013 II 246).
Les recourants discutent les faits comme devant une juridiction d'appel. Certes, ils mentionnent l'arbitraire, mais ils se limitent à des considérations générales sur cette notion, sans démontrer en quoi la Cour de justice aurait établi les faits de manière manifestement inexacte ou en violation du droit, comme le leur impose l'<ref-law>. Par conséquent, le Tribunal fédéral statuera sur la base des seuls faits constatés dans l'arrêt attaqué, sans tenir compte de ceux qui sont allégués par les recourants qui ne ressortent pas de cet arrêt.
4.
Lorsque les recourants invoquent une violation de leur droit d'être entendu, ils se limitent également, comme pour leur grief d'arbitraire, à une présentation générale de la portée de ce droit, sans motiver en quoi la Cour de justice l'aurait violé en l'espèce. Dès lors que l'on ne saisit pas ce que les recourants reprochent aux juges cantonaux sous l'angle de l'art. 29 al. 2 Cst., ce grief est irrecevable (<ref-law>).
I. Impôt fédéral direct
Les questions juridiques qui se posent en l'espèce sont identiques pour les périodes fiscales 2005 et 2006, d'une part, et pour les périodes fiscales 2007 et 2008, d'autre part. Par ailleurs, tant la Cour de justice que les recourants ont regroupé ces périodes fiscales dans leur analyse. Dans ces circonstances, il sera procédé de la même manière dans le présent arrêt.
Périodes fiscales 2005 et 2006
5.
5.1. La Cour de justice a considéré que c'est à juste titre que l'Administration fiscale a considéré que les réclamations déposées par les recourants étaient irrecevables, car ils n'avaient pas démontré leur caractère manifestement inexact.
5.2. Les recourants contestent cette irrecevabilité et font par ailleurs grief aux juges cantonaux d'avoir appliqué l'<ref-law> de manière arbitraire, en ce sens qu'ils auraient dû déclarer insoutenables les taxations d'office qui leur ont été notifiées, celles-ci retenant des montants de revenus injustifiables à leurs yeux.
5.3. Aux termes de l'<ref-law>, l'autorité de taxation effectue la taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou que les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Elle peut prendre en considération les coefficients expérimentaux, l'évolution de fortune et le train de vie du contribuable.
Cette disposition pose les principes selon lesquels une taxation d'office doit être établie, principes qui ne peuvent être contestés que si une réclamation valable a été élevée contre cette taxation. Or, les recourants perdent de vue que leurs réclamations ont été déclarées irrecevables, ce qu'a confirmé la Cour de justice. Le grief lié à l'<ref-law> tombe donc à faux et le litige revient à examiner si c'est à juste titre que la Cour de justice a considéré que les réclamations étaient irrecevables, ce qui relève non pas de l'<ref-law> mais de l'<ref-law>.
5.4. Aux termes de l'<ref-law>, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuve.
Le contribuable doit apporter la preuve du caractère manifestement inexact de la taxation d'office. Il ne peut se limiter à une contestation globale ou à une contestation partielle de positions uniques, car cela ne permet pas d'examiner d'emblée si la taxation d'office est manifestement inexacte. Il doit en tout cas être possible de reconnaître ce que le contribuable conteste dans la décision attaquée, par exemple le principe de la taxation d'office ou le montant de l'estimation opérée, ainsi que les arguments pertinents en fait et en droit sur lesquels il s'appuie. Ainsi, le contribuable ne doit pas se contenter de mettre en doute la taxation d'office, mais doit exposer en quoi celle-ci ne correspond pas à la situation réelle et mentionner les moyens de preuve y relatifs. Ce n'est qu'ainsi que toute incertitude quant à l'état des faits peut être écartée. Cette preuve doit en outre être complète, de simples preuves partielles ne suffisant pas. Il s'agit là d'une exigence formelle, dont la violation entraîne l'irrecevabilité de la réclamation. Il en découle que lorsque l'autorité qui doit statuer sur réclamation n'est pas entrée en matière pour des raisons formelles, faute de motivation suffisante, l'autorité de recours doit uniquement examiner si c'est à bon droit que celle-ci a prononcé une décision d'irrecevabilité (<ref-ruling>, consid. 2.3 p. 551; <ref-ruling> consid. 4c p. 557; arrêts 2C_714/2013 et 2C_716/2013 du 3 septembre 2013 consid. 2.1; 2C_1205/2012 et 2C_1206/2012 du 25 avril 2013 consid. 3; arrêt 2C_579/2008 du 29 avril 2009 consid. 2.2, in RF 2009 p. 659; 2A.39/2004 du 29 mars 2005 consid. 5.1, in Archives 75 p. 329 et RDAF 2005 II 564).
5.5. En l'espèce, les recourants ont transmis leurs déclarations fiscales 2005 et 2006 le 21 décembre 2007, soit après la notification des taxations d'office pour les années considérées. Ces déclarations d'impôt ont été traitées comme des réclamations. Il découle de l'arrêt attaqué que celles-ci n'étaient pas accompagnées de preuves du caractère manifestement inexact des taxations d'office, ce qui n'est d'ailleurs pas contesté par les recourants. L'Administration fiscale a donné l'occasion aux recourants de compléter ces déclarations d'impôt et a requis de leur part la production de pièces justificatives, par plis simples les 13 mars et 25 avril 2008 puis par courrier recommandé le 17 février 2009, ce dernier courrier les avertissant expressément que leurs réclamations seraient déclarées irrecevables si les pièces requises n'étaient pas produites dans le délai imparti. N'ayant pas reçu les documents demandés dans ce dernier courrier, ni dans le délai imparti, ni postérieurement, l'Administration fiscale a prononcé l'irrecevabilité des réclamations le 19 mars 2009.
Les recourants admettent que leurs déclarations d'impôt soient traitées comme des réclamations contre des taxations d'office., ce qui n'a pas à être revu dans la présente procédure. Ils ne contestent pas n'avoir donné aucune suite à la demande de pièces qui leur a été adressée par courrier recommandé le 17 février 2009. Or, c'est dans ce courrier que l'Administration fiscale les a avertis que leurs réclamations seraient déclarées irrecevables faute de production des pièces requises dans le délai imparti. La Cour de justice a donc confirmé à juste titre les décisions d'irrecevabilité des réclamations.
5.6. Les recourants s'en prennent au contenu même du courrier du 17 février 2009, qui serait constitutif " d'abus de droit et/ou de pouvoir " de la part de l'Administration fiscale, qui aurait voulu les " sanctionner " en les taxant d'office et en leur impartissant un délai de production trop bref. Ce grief confine à la témérité. En effet, il sied de relever que l'Administration fiscale a examiné les réclamations initiales des recourants et leur a ainsi donné l'occasion de prouver le caractère manifestement inexact des taxations d'office, alors qu'elle aurait pu d'emblée les déclarer irrecevables tant pour tardiveté, à tout le moins pour la période 2005 (art. 132 al. 1 et 133 al. 3 LIFD) que pour irrespect des exigences de motivation énoncées à l'<ref-law>, dès lors qu'elles consistent en la production de la déclaration d'impôt des recourants, ce que le Tribunal cantonal a du reste à juste titre relevé dans l'arrêt attaqué. Dans de telles circonstances, le grief d'abus de droit et/ou de pouvoir est infondé.
5.7. Les recourants soutiennent également avoir adressé des pièces à l'Administration fiscale par courrier du 13 mai 2008 envoyé par pli simple. A cet égard, la Cour de justice a retenu à bon droit que les recourants n'avaient pas prouvé que l'Administration fiscale avait bien reçu le courrier qu'ils disaient avoir envoyé à cette date, un envoi sous pli simple ne faisant pas preuve de sa réception (<ref-ruling> consid. 3.1.2 p. 213; <ref-ruling> consid. 2a p. 45). La tentative des recourants de prouver devant le Tribunal fédéral la réception de ce courrier repose sur des faits non constatés par l'arrêt attaqué, sans que les recourants ne se plaignent d'arbitraire à cet égard (cf. consid. 3), de sorte que le Tribunal fédéral ne peut entrer en matière. Quoi qu'il en soit, dans la mesure où c'est à la suite de l'absence de réponse des recourants au courrier recommandé du 17 février 2009 - dont l'existence n'est pas remise en cause par les recourants - que l'irrecevabilité des réclamations a été prononcée, la preuve de ce fait n'aurait pas été déterminante en l'espèce.
5.8. Il découle de ce qui précède que la Cour de justice n'a pas violé le droit fédéral en confirmant l'irrecevabilité des réclamations déposées par les recourants contre les taxations d'office 2005 et 2006. Dans ces circonstances, il n'y a pas lieu d'aborder le contenu matériel de ces taxations (cf. supra consid. 5.3 in fine).
Périodes fiscales 2007 et 2008
6.
6.1. La Cour de justice a qualifié de réclamations les déclarations d'impôt déposées par les recourants pour les années 2007 et 2008 et a confirmé leur irrecevabilité en raison de leur tardiveté, les recourants n'ayant pas établi l'existence de motif sérieux ou de cas de force majeure au sens de l'<ref-law> qui les auraient empêchés de les déposer dans le délai de trente jours de l'<ref-law>.
6.2. Les recourants contestent que les déclarations d'impôt qu'ils ont déposées puissent être qualifiées de réclamations contre des taxations d'office. Devant le Tribunal fédéral, les recourants ne se prévalent donc plus, comme ils l'avaient fait devant les autorités cantonales, de la réalisation de motifs sérieux ou de cas de force majeure au sens de l'<ref-law> pour justifier le retard du dépôt de leurs réclamations. Ils soutiennent désormais que les taxations d'office 2007 et 2008 ne leur ont été notifiées que le 10 juin 2010, soit postérieurement au moment de l'envoi de leurs déclarations d'impôt, et que celles-ci ne peuvent dès lors être traitées comme des réclamations. A l'appui de cette affirmation, ils soutiennent que l'Administration fiscale, à qui incombe le fardeau de la preuve, n'est pas en mesure de prouver avoir notifié les taxations d'office avant l'envoi de leurs déclarations d'impôt et qu'en conséquence, la Cour de justice a établi les faits de manière manifestement inexacte et en violation des règles de répartition du fardeau de la preuve en retenant que la notification de ces taxations d'office avaient eu lieu avant cet envoi.
6.3. L'arrêt attaqué ne fait pas mention de notifications de taxations d'office datées du 10 juin 2010, de sorte que le grief que les recourants tentent d'en retirer est irrecevable, car ils se fondent sur des faits non constatés, sans se plaindre de ce que l'arrêt attaqué serait manifestement incomplet sur ce point (cf. consid. 3).
Au demeurant, ce grief procède sur le fond d'une attitude contradictoire et téméraire des recourants, ceux-ci ne craignant pas de soutenir désormais devant le Tribunal fédéral ne pas avoir reçu dans les délais ordinaires les taxations d'office 2007 et 2008 datées du 8 septembre 2008 et du 3 août 2009, alors qu'il ressort de l'arrêt attaqué et du dossier que, loin de contester leur réception dans des délais ordinaires, les contribuables se sont attachés à obtenir des instances cantonales une restitution du délai de réclamation en se prévalant de l'<ref-law>. Fût-il recevable, ce grief aurait donc de toute manière été rejeté.
7.
Au vu de ce qui précède, le Tribunal cantonal n'a pas violé le droit fédéral en confirmant l'irrecevabilité des réclamations portant sur l'IFD 2007 et 2008. Dans ces circonstances, il n'y a pas lieu d'entrer en matière sur les griefs matériels avancés par les recourants en relation avec, d'une part, le caractère prétendument arbitraire des taxations d'office et, d'autre part, la prise en compte de leur domicile vaudois pour l'année fiscale 2008.
Le recours doit donc être rejeté, dans la mesure de sa recevabilité, en tant qu'il concerne l'IFD.
II. Impôts cantonal et communal
8.
Les recourants formulent les mêmes griefs qu'en matière d'impôt fédéral direct au sujet des taxations d'office qui ont été prononcées par l'Administration fiscale en matière d'impôt cantonal et communal. Ils reprochent en particulier à la Cour de justice une application arbitraire de l'art. 37 al. 1 de la loi genevoise de procédure fiscale du 4 octobre 2001 (LPFisc; RSG D 3 17), qui dispose, en substance, que le département procède à une taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure. Cette disposition, qui régit la taxation d'office en droit fiscal cantonal genevois, correspond à l'<ref-law> (cf. arrêt 2C_543/2012 du 12 novembre 2012 consid. 2.3). Par ailleurs, aux termes de l'art. 39 al. 2 LPFisc, dont l'<ref-law> a la même teneur, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuve.
Ainsi, la réglementation applicable en matière cantonale et communale ne diffère pas de celle qui prévaut en matière d'impôt fédéral direct. Les mêmes principes sont dès lors valables pour les deux catégories d'impôts (cf. arrêt 2A_463/2009 du 21 décembre 2009 consid. 5). Il y a donc lieu de renvoyer à l'argumentation développée ci-dessus pour rejeter également le recours en matière d'impôts cantonal et communal dans la mesure de sa recevabilité.
III. Frais et dépens
9.
Compte tenu de ce qui précède, les frais judiciaires, fixés à 5'000 fr., seront mis à la charge des recourants solidairement entre eux (art. 66 al. 1 et 5 LTF). Le canton n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Les causes 2C_357/2013 et 2C_358/2013 sont jointes.
2.
Le recours est rejeté dans la mesure de sa recevabilité en tant qu'il concerne l'impôt fédéral direct 2005, 2006, 2007 et 2008.
3.
Le recours est rejeté dans la mesure de sa recevabilité en tant qu'il concerne l'impôt cantonal et communal 2005, 2006, 2007 et 2008.
4.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge des recourants solidairement entre eux.
5.
Le présent arrêt est communiqué aux recourants, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, et à l'Administration fédérale des contributions.
Lausanne, le 7 novembre 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Vuadens