Faits :
A.
A.a. Les époux A.A._ et B.A._ étaient actionnaires, chacun à raison de 50%, de C._, la société faîtière du groupe C._, actif dans le domaine de l'événementiel.
Le 12 septembre 2002, ils ont adressé à l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) une demande de ruling faisant suite à l'entretien qui s'était tenu à ce sujet dans les locaux de dite administration le 20 août 2002. Ils y exposaient qu'ils envisageaient de constituer dans les six mois une limited partnership à Guernesey, dont ils deviendraient les associés indéfiniment responsables (" general partners ") et à qui ils apporteraient leur participation dans C._ à la valeur nominale. Leurs trois enfants en seraient associés responsables de manière limitée. La limited partnership aurait pour but de mettre à la disposition de C._ la compétence des contribuables dans le domaine de l'événementiel par la fourniture de prestations de conseil à des clients du monde entier, de manière à renforcer la présence du groupe sur la scène internationale. Elle louerait ses propres locaux et engagerait son propre personnel pour les tâches administratives; la comptabilité serait ainsi tenue sur l'île et la coordination des rendez-vous et des activités y serait également effectuée. Les époux A._ seraient amenés à se rendre régulièrement sur place, même si leurs prestations devraient être principalement fournies au siège de leurs clients, à l'étranger. Sous l'angle fiscal, les contribuables sollicitaient que la structure à créer soit reconnue comme entreprise à l'étranger, mais qu'un montant fixe de 100'000 fr. par année et par personne soit imposable à titre de revenu en Suisse, au taux maximal. Les démarches nécessaires à la réalisation de la structure envisagée seraient mises en oeuvre une fois l'accord de l'Administration cantonale obtenu.
Le 30 octobre 2002, les époux A._ ont fait inscrire la société D._Limited Partnership (ci-après: D._ Guernesey ou la Société) dans le registre des limited parterships de Guernesey.
Le 18 mars 2004, l'Administration cantonale a retourné aux contribuables la demande de ruling du 12 septembre 2002 munie du timbre humide " Bon pour accord " et de la mention " Accord octroyé dans les limites du contenu de notre courrier d'accompagnement du 18 mars 2004 ". Ledit courrier reprenait les engagements que les contribuables avaient formulés le 12 septembre 2002 et exigeait d'eux qu'ils puissent démontrer en tout temps l'effectivité et le caractère opérationnel de l'infrastructure et la gestion des titres C._ à Guernesey. L'Administration cantonale précisait qu'elle ne reconnaîtrait l'existence d'un établissement stable sur l'île qu'à la condition que chacun des associés y travaille au moins trente jours ou s'y déplace au moins dix fois par année à des fins professionnelles. Les avoirs et les bénéfices de D._ Guernesey seraient exonérés de l'impôt fédéral, cantonal et communal (sous réserve de progressivité), dans la mesure où ils seraient effectivement gérés, respectivement réalisés à l'étranger; à défaut, ils seraient imposés dans le chef des associés. L'évaluation forfaitaire des revenus imputables aux contribuables correspondrait au minimum à 10% des profits nets de D._ Guernesey, ce montant pouvant être revu par l'Administration cantonale à chaque période fiscale, en fonction de l'organisation de l'activité.
A.b. Le 3 novembre 2004, les contribuables ont déposé leur déclaration d'impôt pour la période fiscale 2003, indiquant un revenu et une fortune imposables au titre de l'impôt cantonal et communal (ci-après: ICC) de 147'745 fr., respectivement de 617'568 fr., et un revenu imposable au titre de l'impôt fédéral direct (ci-après: IFD) de 163'230 fr. Leur déclaration fiscale pour l'année 2004, remise le 5 octobre 2005, indiquait un revenu et une fortune imposables ICC de 133'303 fr., respectivement de 0 fr., et un revenu imposable IFD de 152'324 fr.
Par courriers des 6 et 25 septembre et 19 octobre 2006, l'Administration cantonale a requis des contribuables qu'ils démontrent l'effectivité et le caractère opérationnel de D._ Guernesey et qu'ils produisent le détail des honoraires encaissés durant l'exercice 2003, des frais de voyage avec justificatifs, ainsi que, pour l'année 2004, du chiffre d'affaires et des postes de charges. Elle sollicitait également que les contribuables prouvent qu'ils disposaient de locaux et de personnel qualifié sur place et qu'ils s'y rendaient selon les fréquences requises.
Par courrier du 6 novembre 2006, les intéressés ont répondu à l'Administration cantonale que l'activité commerciale de D._ Guernesey s'était remarquablement développée avec l'établissement de nouveaux partenariats en Europe, au Moyen Orient et en Asie, que cette évolution les avaient amenés à se rendre régulièrement à Londres et qu'ils avaient dès lors décidé de faire de ce lieu le " deuxième pilier " de leur vie professionnelle en y créant, dans le courant 2004, la société E._ Limited Liability Partnership (ci-après: E._ Londres), dont ils étaient personnellement propriétaires. E._ Londres avait été nommée general partner de D._ Guernesey aux côtés du fils des contribuables.
Concernant D._ Guernesey, les contribuables expliquaient qu'elle disposait sur l'île de locaux commerciaux équipés des moyens de communication nécessaires à sa gestion et qui étaient loués à l'entreprise F._ Limited. Un employé, G._, était engagé à 50% pour procéder à la facturation, à la tenue de la comptabilité, au contrôle des comptes, à la coordination des réunions internes et des rendez-vous avec les clients, ainsi qu'à la préparation des assemblées générales. La Société avait comptabilisé 9'7852 EUR (recte: 9'752 EUR; <ref-law>) sous le poste " administration fees " pour l'exercice 2003 et 17'813.24 EUR sous le poste " administration fees/accounting/staff " pour l'exercice 2004. Les honoraires encaissés s'élevaient à 800'285 EUR pour l'exercice 2003 et à 832'130 EUR en 2004. Ils provenaient de l'organisation de nombreux congrès dans des villes européennes - excepté Guernesey - ainsi que, pour certains, dans le reste du monde. Cela avait représenté 224, respectivement 202 jours d'activité pour B.A._ et 140, respectivement 138 jours d'activité pour A.A._ pour les exercices 2003, respectivement 2004. Les contribuables relevaient qu'ils avaient séjourné régulièrement à Londres et à Guernesey pour leur activité commerciale et que leur fils était présent sur place depuis 2004 pour assurer la gestion de D._ Guernesey. Les frais de voyage des époux A._ s'élevaient à 92'020 EUR pour l'exercice 2003 et à 251'286.97 EUR pour l'exercice 2004. Ils produisaient un document intitulé " Travelling expenses 2002/2003 ", qui faisait état de huit voyages à Guernesey pour les deux époux. Aucun détail des voyages n'était présenté pour l'exercice 2004.
B.
Le 18 décembre 2008, l'Administration cantonale a " dénoncé avec effet immédiat " le ruling au motif que les exigences qu'elle avait posées à la reconnaissance d'une activité indépendante depuis un établissement stable à Guernesey n'avaient pas été respectées: D._ Guernesey ne possédait pas de bureau, F._ Limited se contentant de mettre à sa disposition une surface dans ses propres locaux; G._ était employé par une structure dépendant de F._ Limited et son revenu comptabilisé comme honoraires d'administration dans les comptes de la Société; en outre, les contribuables n'avaient été présents sur l'île que durant huit jours sur les quatorze mois de l'exercice 2003 (soit du 30 octobre 2002 au 31 décembre 2003), et les honoraires encaissés se rapportaient à des séminaires dispensés principalement en Europe, mais pas à Guernesey.
Par décision de taxation du 19 décembre 2008 concernant la période fiscale 2003, l'Administration cantonale a attribué les revenus et la fortune de D._ Guernesey aux époux A._. Il en est résulté pour les contribuables un revenu imposable de 1'097'027 fr. pour l'impôt cantonal et communal et de 1'105'500 fr. pour l'impôt fédéral direct, et une fortune imposable de 9'611'364 fr. Le 30 octobre 2009, elle a fait de même pour la période fiscale 2004: le revenu imposable des époux A._ a ainsi été fixé à 727'958 fr. pour l'impôt cantonal et communal, à 739'900 fr. pour l'impôt fédéral direct, et la fortune imposable à 24'636'653 fr.
Les contribuables ont élevé réclamations contre ces décisions de taxation, que l'Administration cantonale a rejetées par décisions sur réclamation du 15 octobre 2010. Le recours qu'ils ont interjeté à l'encontre de ces décisions sur réclamation auprès de l'actuel Tribunal administratif de première instance du canton de Genève a été, par jugement du 21 décembre 2011, partiellement admis sur un point étranger au présent litige (répartition internationale et intercantonale d'intérêts passifs) et rejeté pour le surplus.
Les intéressés ont déféré ce jugement à la Cour de justice, Cour administrative du canton de Genève (ci-après: la Cour de justice), soutenant qu'ils remplissaient les conditions relatives à l'engagement de personnel et de présence effective sur place, à l'exception du nombre de jours requis par l'Administration cantonale le 18 mars 2004, que le ruling avait été dénoncé à tort et qu'il devait leur être appliqué.
Par arrêt du 10 décembre 2013, la Cour de justice a rejeté le recours et confirmé le jugement du Tribunal administratif de première instance ainsi que les décisions sur réclamation du 15 octobre 2010. Elle a retenu, en substance, que dans la mesure où les époux A._ n'avaient pas respecté les exigences du ruling relatives au nombre minimum de jours de présence ou de déplacements à Guernesey, ils ne pouvaient s'en prévaloir. Examinant ensuite si la structure mise en place par les recourants à l'étranger pouvait néanmoins être reconnue d'un point de vue fiscal, elle a conclu que tel n'était pas le cas, faute de présenter un caractère opérationnel et de l'existence d'une gestion effective à l'étranger. Les intéressés ne pouvaient pas non plus se prévaloir du principe de la protection de la bonne foi au motif qu'ils auraient respecté les conditions telles que libellées dans leur demande du 12 septembre 2002 et qu'ils ne pouvaient pas avoir connaissance, pour la période fiscale 2003, des critères qui seraient posés par l'Administration cantonale le 18 mars 2004. Ils n'avaient en effet pas démontré ni rendu vraisemblable que l'Administration cantonale se serait engagée à leur égard antérieurement au 18 mars 2004 et dans les termes qu'ils prétendaient; ils avaient par ailleurs agi de leur propre chef dès l'année 2002 sans attendre la réponse de l'Administration cantonale à leur demande du 12 septembre 2002. Pour la période fiscale 2004, les contribuables ne pouvaient plus tenter de se prévaloir de l'ignorance des critères posés par dite Administration, qui leur avaient été communiqués le 18 mars 2004.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral sous suite de frais et dépens, après avoir joint les causes, (1) d'annuler l'arrêt du 10 décembre 2013 de la Cour de justice, (2) de constater que la demande de ruling du 12 septembre 2002 est toujours en vigueur à l'exclusion d'un nombre minimum de jours de présence ou de déplacement exigé le 18 mars 2004, (3) d'ordonner " la taxation selon les justifications matérielles avec un revenu imposable 2003 de CHF 43'534 au taux de CHF 55'512 et une fortune imposable 2003 de CHF 0 ainsi qu'avec un revenu imposable 2004 de CHF 30'732 ", (4) " d'ordonner la taxation selon les justifications matérielles avec un revenu imposable 2003 de CHF 51'115 au taux de CHF 63'595 ainsi qu'avec un revenu imposable 2004 de CHF 41'656 au taux de CHF 256'881 "; subsidiairement, d'acheminer les recourants à prouver les faits allégués dans leur mémoire; plus subsidiairement, de renvoyer la cause à l'Administration cantonale pour qu'elle procède à une répartition internationale tenant compte de l'activité effective déployée depuis Guernesey et depuis Londres pour le cas où la Cour de céans devait retenir l'absence de siège principal de D._ Guernesey à l'étranger.
L'Administration cantonale et l'Administration fédérale des contributions se sont déterminées et ont conclu au rejet du recours. La Cour de justice a persisté dans les considérants et le dispositif de son arrêt. Les recourants ont déposé des observations finales.

Considérant en droit :
I. Recevabilité et points de procédure
1.
La Cour de justice a rendu un seul arrêt valant pour l'impôt cantonal et communal, d'une part, et pour l'impôt fédéral direct, d'autre part, ce qui est admissible, dès lors que les questions juridiques à trancher sont réglées de la même façon pour ces deux catégories d'impôts (<ref-ruling> consid. 1.3.1 p. 262). Les intéressés ont formé un recours qui contient les mêmes griefs et les mêmes conclusions pour ces deux catégories, ce qui est conforme à la jurisprudence (cf. <ref-ruling> consid. 1.3.3 p. 264). Par souci d'unification par rapport à d'autres cantons dans lesquels deux arrêts sont rendus, la Cour de céans a ouvert deux dossiers, l'un concernant l'impôt cantonal et communal (2C_123/2014) et l'autre l'impôt fédéral direct (2C_124/2014). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (<ref-law> et 24 PCF [RS 273]).
2.
2.1. La décision attaquée, en tant qu'elle concerne le revenu et la fortune imposables des recourants pour les périodes fiscales 2003 et 2004, est finale (<ref-law>) et a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (<ref-law>) qui ne tombe sous le coup d'aucune des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est donc ouverte (cf. également l'art. 146 de la loi fédérale sur l'impôt fédéral direct du 14 décembre 1990 [LIFD; RS 642.11] et l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14] pour ce qui concerne l'impôt cantonal et communal).
2.2. Dans leurs conclusions principales, les recourants demandent l'annulation de l'arrêt attaqué, l'application de la " demande de ruling du 12 septembre 2002 " et à ce qu'il soit procédé à des taxations 2003 et 2004 en conséquence.
Selon la jurisprudence, les conclusions doivent être interprétées, selon le principe de la confiance, à la lumière de la motivation, et l'interdiction du formalisme excessif commande de ne pas se montrer trop strict dans la formulation si, à la lecture du mémoire, on comprend clairement ce que veut le recourant (arrêts 2C_986/2013 du 15 septembre 2014 consid. 2.2, in RF 69/2014 p. 893; 4A_375/2012 du 20 novembre 2012 consid. 1.2 non publié in <ref-ruling>; 4A_688/2011 du 5 décembre 2011 consid. 2 non publié in <ref-ruling>). En l'espèce, dès lors que l'on comprend de la motivation des recourants qu'ils entendent fondamentalement faire reconnaître, d'un point de vue fiscal, la structure qu'ils ont établie à l'étranger et qu'ils citent d'ailleurs dans leur mémoire l'<ref-law> et la disposition cantonale correspondante, la Cour de céans ne se limitera pas à examiner si la " demande de ruling du 12 septembre 2002 " doit être appliquée, comme ils le soutiennent, mais examinera de manière plus générale le traitement fiscal de l'état de fait qui résulte de l'arrêt attaqué.
2.3. Les conclusions réformatoires que prennent les recourants à titre principal sont recevables également en ce qui concerne le droit cantonal harmonisé tel que l'impôt sur le revenu, car l'<ref-law> doit céder le pas devant l'<ref-law> (cf. <ref-ruling> consid. 1 p. 209). Sont aussi recevables les conditions subsidiaires des recourants, car ils les ont déjà formulées devant l'instance précédente, contrairement à ce qu'avance l'Administration cantonale.
2.4. En revanche, les conclusions tendant à ce que les recourants soient acheminés à prouver les faits qu'ils allèguent sont irrecevables. Les recourants perdent en effet de vue que le Tribunal fédéral est un juge du droit et non du fait (cf. <ref-law> et infra consid. 4). Des mesures probatoires ne sont qu'exceptionnellement ordonnées dans une procédure de recours (<ref-ruling> consid. 2 p. 104) et il n'y a pas de motif de faire exception ici.
2.5. Au surplus, le recours a été déposé en temps utile (cf. art. 100 al. 1 et 46 al. 1 let. c LTF) et dans les formes requises (<ref-law>) par les destinataires de la décision entreprise, qui ont un intérêt digne de protection à son annulation ou à sa modification et qui ont de ce fait qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière.
3.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant, conformément au principe d'allégation (cf. <ref-law>). L'acte de recours doit alors, sous peine d'irrecevabilité, contenir un exposé succinct des droits et principes constitutionnels violés et préciser de manière claire et détaillée en quoi consiste la violation (cf. <ref-ruling> consid. 2.2 p. 232 et les références citées; <ref-ruling> consid. 2.5 p. 314).
4.
L'examen du Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>). En outre, les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 3 p. 104 s.). Partant, la Cour de céans ne tiendra pas compte des faits allégués de manière appellatoire par les recourants sous le titre " En faits ", ni des offres de preuves y afférentes.
II. Droit d'être entendu
5.
Les recourants se plaignent d'une violation de leur droit d'être entendus. Ils reprochent à la Cour de justice d'avoir écarté sans discussion des faits qu'ils avaient allégués devant elle, ainsi que de s'être dispensée de procéder à l'administration et à l'appréciation de preuves qu'ils avaient offertes ou apportées. Il s'en serait suivi que la Cour de justice aurait omis de motiver sa décision sur trois points, à savoir: premièrement, leur grief de violation de la bonne foi en relation avec des assurances que l'Administration cantonale leur auraient fournies le 20 août 2002 et qu'elle n'aurait pas respectées; deuxièmement, le point de savoir si les conditions de l'<ref-law> sont remplies, comme ils l'allèguent, et, troisièmement, l'impact qu'aurait l'existence d'une structure à Londres " sur la détermination du siège " de D._ Guernesey.
5.1. Il convient de commencer par l'examen de ce grief formel, de nature à entraîner, en cas d'admission, l'annulation de l'arrêt attaqué indépendamment des chances de succès du recours sur le fond (cf. <ref-ruling> consid. 3 p. 191; <ref-ruling> consid. 2.2 p. 197).
5.2. La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.) l'obligation pour le juge de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer ses droits de recours à bon escient. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 2.2 p. 183; <ref-ruling> consid. 3.2 p. 270; <ref-ruling> consid. 5.2 p. 236; <ref-ruling> consid. 4.1 p. 88 et les arrêts cités).
5.3. En l'espèce, le grief de violation du droit d'être entendu est infondé. En relation avec le premier point soulevé par les recourants (protection de la bonne foi en relation avec des assurances prétendument fournies en août 2002), la Cour de justice a, contrairement à ce que soutiennent les recourants, motivé les raisons pour lesquelles elle a considéré que les conditions de la protection de la bonne foi n'étaient pas réunies. Il n'y a partant pas de violation du droit d'être entendu à cet égard. S'agissant des deuxième et troisième points (réalisation des conditions de l'<ref-law> et impact de l'existence d'une société à Londres sur la détermination du siège de D._ Guernesey), les recourants s'en prennent en réalité au contenu de la motivation juridique de l'arrêt attaqué, qu'ils contestent. Il s'agit donc ici d'une question de droit, qui sera examinée ci-après, et pas d'un défaut de motivation de l'arrêt attaqué, qui emporterait violation du droit d'être entendu.
Mal fondé, le grief de violation du droit d'être entendu est en conséquence rejeté.
III. Griefs relatifs à l'établissement des faits et à l'appréciation des preuves
6.
Invoquant l'<ref-law>, les recourants se plaignent d'arbitraire dans l'établissement des faits et l'appréciation des preuves.
6.1. En vertu de cette disposition, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62) - ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 1.5 p. 129 s.). Cela signifie que la partie recourante doit exposer, dans une motivation conforme aux exigences de l'<ref-law>, en quoi l'état de fait retenu par l'instance précédente est arbitraire ou contraire au droit et préciser en quoi la correction du vice aurait une influence sur l'issue de la cause (cf. <ref-ruling> consid. 1.4.3 p. 254 s.).
Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 2.1 p. 18 s.; <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 4.3 p. 319). Lorsque la partie recourante s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. <ref-ruling> consid. 4.2 p., 234; <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.3 p. 62).
6.2. Les recourants soutiennent d'abord que les juges précédents seraient tombés dans l'arbitraire en considérant que l'Administration cantonale ne leur avait fourni aucune assurance antérieurement au 18 mars 2004 et qu'ils n'avaient ni prouvé ni même rendu vraisemblable le contraire. Le contenu de leur courrier du 12 septembre 2002 aurait dû conduire la Cour de justice à admettre que les recourants avaient apporté des éléments tendant à démontrer la véracité de leurs allégations.
Ce courrier contient un passage relatif à l'apport des actions C._ à D._ Guernesey. Il indique que cet apport serait effectué à la valeur nominale et qu'il n'était pas prévu d'augmenter le capital-actions de C._ " dans les prochains 5 ans " par conversion de réserves. Selon les recourants, cette formulation traduirait l'imminence de la constitution de la Société au moment de la demande de ruling, ce que l'Administration cantonale devait savoir le 18 mars 2004, puisqu'au moment d'apposer son bon pour accord, elle n'a pas modifié la demande de ruling sur ce point. Elle savait donc que la Société serait créée peu après le 12 septembre 2002 et que, partant, ce délai de cinq ans écherrait en septembre 2007, sans quoi elle aurait avantagé indûment la Société en raccourcissant le délai de cinq ans qui prévalait alors dans la pratique relative à la liquidation partielle indirecte.
Pareille argumentation est pour le moins confuse, en particulier parce que l'opération envisagée ne fait pas apparaître de manière évidente de prime abord une problématique potentielle de liquidation partielle indirecte. Quoi qu'il en soit, les recourants se limitent ici à interpréter en leur faveur leur propre courrier pour tenter d'en tirer des conclusions quant au fait que l'Administration cantonale aurait su que la constitution de la Société était imminente au moment de leur demande de ruling du 12 septembre 2002. Une telle interprétation, peu convaincante et qui relève de la pure conjecture, ne prouve ni ne rend vraisemblable l'existence d'assurances fournies oralement le 20 août 2002 aux recourants, et ce d'autant moins que cet entretien a eu lieu dans le contexte d'une " procédure " de ruling (sur ce point, cf. ci-dessous consid. 7.1), ce qui, selon la pratique générale de la plupart des cantons et en tout cas à Genève, aboutit à un ruling en la forme écrite. Enfin et surtout, les recourants se contredisent de manière patente lorsqu'ils soutiennent que des assurances leur auraient été fournies par l'autorité fiscale en août 2002, alors qu'ils indiquent eux-mêmes, dans leur demande du 12 septembre 2002, que les démarches nécessaires à la réalisation de la structure planifiée seraient mises en oeuvre " une fois l'accord de l'Administration cantonale obtenu ", admettant par là qu'aucune approbation n'avait été obtenue jusqu'alors.
6.3. Les recourants soutiennent ensuite qu'ils auraient rempli la condition relative à une présence régulière à Guernesey telle qu'elle a été formulée le 20 août 2002 et que la Cour de justice aurait arbitrairement retenu le contraire. Ce grief repose toutefois sur la prémisse selon laquelle l'Administration cantonale leur a fourni des assurances le 20 août 2002. Dès lors que l'arrêt attaqué retient sans arbitraire le contraire (cf. ci-dessus consid. 6.2), les recourants ne sauraient se fonder sur cet élément pour en tirer des arguments en leur faveur.
6.4. Le reproche que formulent par ailleurs les recourants en relation avec le point de savoir s'il existe une activité opérationnelle à Guernesey, qui devrait aboutir à la reconnaissance d'une entreprise à l'étranger au sens de l'<ref-law>, relève de l'application du droit et non pas de l'appréciation des preuves ou de l'établissement des faits. Il sera partant examiné ci-après sous cet angle.
6.5. Finalement, toujours sous le titre " Établissement des faits et appréciation des preuves ", les recourants formulent un grief en relation avec l'existence de E._ Londres. Ils reprochent à la Cour de justice d'avoir établi un fait " de manière contraire aux règles sur la répartition du fardeau de la preuve " en tant qu'elle aurait exigé d'eux la fourniture d'une preuve portant sur un fait qui ne serait pas contesté. Ce grief repose toutefois sur l'affirmation erronée selon laquelle il serait incontesté que le centre de gestion administrative de D._ Guernesey a été déplacé de Guernesey à Londres. Or, la Cour de justice a au contraire retenu que les recourants n'avaient pas démontré le caractère opérationnel de la structure à Guernesey ni l'ampleur de la gestion intervenant dans la capitale britannique de E._ Londres. Par ailleurs, ce grief relève avant tout de la question de la répartition du fardeau de la preuve, ce qui est une question de droit. Au demeurant, les recourants se contredisent quant à l'existence d'une gestion administrative à Londres, puisqu'ils soutiennent eux-mêmes plus loin dans leur mémoire que c'est à Guernesey - et donc pas à Londres - qu'a été centralisée l'activité d'administration et de coordination de leur entreprise.
6.6. Au vu de ce qui précède, le grief d'arbitraire dans l'établissement des faits et l'appréciation des preuves doit être rejeté. La Cour de céans statuera exclusivement sur les faits tels qu'ils ressortent de l'arrêt attaqué.
IV. Bonne foi
7.
Sur le fond, les recourants ne contestent pas qu'ils n'ont pas rempli la condition de présence effective à Guernesey telle qu'elle a été libellée par l'Administration cantonale le 18 mars 2004, à savoir que chacun des recourants devrait travailler au moins trente jours ou se déplacer au moins dix fois par an sur Guernesey pour y exercer des activités professionnelles. Ils invoquent toutefois une violation du principe de la bonne foi, faisant valoir en substance que leur demande de ruling du 12 septembre 2002 reflétait ce qui avait été convenu oralement le 20 août 2002, que la " prise de position " de l'Administration cantonale du 18 mars 2004 concernant le nombre de jours de présence requis à Guernesey aurait relevé d'un " accord fiscal " s'ils avaient été d'accord de le conclure, mais qu'ils n'avaient pas accepté cette nouvelle condition, de sorte que cette exigence de l'Administration cantonale serait inopérante. Par ailleurs, les assurances que cette autorité leur auraient fournies oralement le 20 août 2002 étaient suffisamment claires pour que les recourants y accordent foi, qu'ils commencent à organiser leurs activités en 2002 et à procéder à des investissements en 2003 et 2004. Partant, l'Administration cantonale aurait violé le principe de bonne foi en formulant une exigence nouvelle le 18 mars 2004. Seraient également contraires à la bonne foi le fait de ne pas avoir adapté les conditions d'application du ruling alors que l'état de fait avait changé, ainsi que l'annulation avec effet rétroactif du ruling en 2008.
7.1. L'Administration fiscale et un contribuable peuvent exceptionnellement, lorsque des circonstances spécifiques le justifient, se mettre d'accord sur des éléments de fait lorsque leur détermination nécessiterait des efforts considérables (par exemple, lorsque la valeur vénale d'un immeuble n'est connue ni du contribuable ni de l'autorité fiscale et que le calcul ou l'estimation de celle-ci ne peut avoir lieu que moyennant des frais disproportionnés). De tels accords relèvent de la procédure et sont conclus dans la phase de la taxation, de sorte que l'on admet qu'ils ne nécessitent pas de base légale (arrêts 2C_977/2013 du 1 er mai 2014 consid. 4.1, in Archives 82 p. 751; 2C_603/2012 du 10 décembre 2012, in StE 2013 A 21.14 Nr. 23; 2C_296/2009 du 11 février 2010 consid. 3.2, in RF 65/2010 p. 453). Une telle convention ne doit toutefois pas être contraire au droit matériel. Lorsque les conditions pour conclure un accord ne sont pas réalisées, il s'agit d'un arrangement fiscal. Ce dernier vise à établir pour un état de fait concret une réglementation quant à l'existence, à l'étendue ou au mode de l'assujettissement qui s'éloigne des dispositions légales. De tels arrangements ne sont admissibles que si la loi le permet. Faute de base légale, les conventions portant sur le revenu imposable ou sur le montant de l'impôt sont, du point de vue du droit de l'impôt fédéral direct, nulles et non avenues (arrêts 2C_769/2009 du 22 juin 2010 consid. 2.2.1, in RF 65/2010 p. 789; 2C_296/2009 précité consid. 3.1 et les références citées, notamment à l'<ref-ruling> consid. 1c p. 279; 2A.52/2003 23 janvier 2004, in Archives 74 p. 737 et traduit in RDAF 2005 II 109).
7.2. Ces accords sont à distinguer du ruling, qui peut se définir comme l'approbation anticipée par l'autorité fiscale compétente d'un traitement proposé par le contribuable en référence à une opération envisagée à l'avenir (cf. arrêt 2C_842/2013 du 18 février 2014 consid. 7.1). En effet, compte tenu de la complexité du droit fiscal et de certains états de fait, le contribuable peut, avant de réaliser une opération, s'adresser au fisc par le biais d'une demande de ruling, afin de déterminer la façon dont cette opération sera traitée fiscalement. Le fisc renseigne alors le contribuable sur cette issue ou, plus généralement, confirme que l'opération envisagée sera imposée de la façon décrite dans la demande de ruling. Comme il s'agit d'une procédure informelle (certains cantons ont émis des notices), elle peut prendre différentes formes; dans la majorité des cas, dont le canton de Genève, le contribuable soumet à l'autorité concernée un document décrivant l'opération prévue de façon circonstanciée et les conséquences fiscales devant en découler; le fisc signe ce document " pour accord ", s'il estime que le traitement fiscal requis correspond au droit applicable (arrêt 2C_664/2013 précité consid. 4.2 et les références citées, notamment à RAPHAËL GANI, Ruling fiscal: un contrat de confiance?, in Risque (s) et droit, 2010, p. 123; RENÉ SCHREIBER/ROGER JAUN/MARLENE KOBIERSKI, Steuerruling - Eine systematische Auslegeordnung unter Berücksichtigung der Praxis, Archives 80, pp. 293 ss; GABRIELE MASSETTI/ANDREA PEDROLI, Il ruling nel diritto tributario svizzero: situazione attuale e prospettive di evoluzione alla luce dell'esperienza italiana, RdiT 2006 pp. 579 ss).
Les rulings ne constituent pas des décisions; ils ne sont donc pas attaquables et n'ouvrent pas les voies de droit ordinaires. Ils peuvent néanmoins avoir des conséquences juridiques en vertu du principe de la bonne foi et de la protection de la confiance. L'état de fait décrit dans la demande revêt à cet égard une importance particulière, puisque le fisc ne sera tenu par un ruling, lors de la taxation, que si l'état de fait anticipé correspond à ce qui est effectivement réalisé par la suite. Si un contribuable entend obtenir des garanties de la part de l'administration fiscale, il doit dévoiler l'ensemble des éléments de fait à sa disposition. Si tel n'est pas le cas et que les éléments qui divergent de ceux prévus initialement ont joué un rôle causal dans l'accord signé par le fisc, le ruling n'est pas contraignant (arrêt 2C_664/2013 précité consid. 4.2 et les références). En pratique, il arrive également que l'autorité assortisse son bon pour accord au respect de certaines conditions factuelles qui devront être remplies pour que le traitement fiscal demandé soit justifié et, partant, approuvé. Cette pratique permet d'une part au contribuable d'obtenir le ruling quand bien même sa demande ne contiendrait pas d'éléments suffisamment précis sur un point essentiel au traitement fiscal demandé et, d'autre part, à l'autorité fiscale d'accorder le ruling tout en limitant la portée de son approbation au respect de l'ensemble des éléments de fait présentés et des conditions qu'elle a ajoutées.
Ce qui précède conduit à constater que, dans la " procédure " de ruling, la bonne foi ne peut être en principe invoquée qu'une fois que des assurances ont été accordées, soit au moment où l'autorité fiscale appose son bon pour accord sur la demande de ruling. Il est vrai que l'autorité fiscale pourrait, théoriquement, fournir des assurances oralement aux contribuables, lors d'entretiens au cours desquels le projet envisagé lui est présenté. Ce procédé serait contraire à la (relative) sécurité juridique que le ruling apporte et impliquerait, pour le contribuable qui entendrait s'en prévaloir, de prouver l'existence de telles assurances. C'est pour ces raisons que les autorités fiscales, et genevoises en particulier, formulent leur accord à une demande de ruling par écrit.
7.3. En l'espèce, l'argumentation des recourants repose sur l'affirmation selon laquelle des assurances leur ont été fournies en 2002. Or, comme déjà souligné, l'arrêt attaqué retient sans arbitraire que tel n'a pas été le cas. Leur grief doit être rejeté pour ce seul motif. On relèvera encore que les recourants ne peuvent de toute manière pas se prévaloir de leur bonne foi. Ils ont créé D._ Guernesey quelques semaines seulement après le dépôt de leur demande, sans attendre le bon pour accord de l'Administration cantonale. Par ailleurs, quand ils ont créé E._ Londres, ils n'ont pas contacté l'autorité fiscale pour modifier leur demande de ruling en conséquence. Ils ont ainsi sciemment mis en place une structure différente de celle annoncée et ont même tenté de se prévaloir du ruling du 18 mars 2004 lorsqu'ils ont rempli leur déclaration fiscale 2003 et 2004 les 3 novembre 2004 et 5 octobre 2005, alors qu'ils ne pouvaient ignorer, à ces dates, qu'ils n'en remplissaient pas les conditions du seul fait que la structure réalisée ne correspondait même pas à celle qu'ils avaient présentée le 12 septembre 2002. Au demeurant, les recourants sont malvenus de se plaindre de la tardiveté du ruling obtenu, alors que l'arrêt attaqué ne mentionne pas - et les contribuables ne l'allèguent pas non plus - qu'ils auraient relancé l'administration en 2003 ou 2004 pour recevoir l'approbation sollicitée; finalement, ils ne sauraient se plaindre du fait que l'Administration cantonale a dénoncé le ruling " avec effet rétroactif ", dès lors que ce ruling n'a en réalité jamais déployé d'effet puisque les recourants n'en ont jamais respecté les conditions. Le grief de violation du principe de la bonne foi, mal fondé, doit donc être rejeté.
V. Impôt fédéral direct
8.
Si le ruling du 18 mars 2004 n'est pas applicable aux recourants, sans que cela n'emporte violation du principe de protection de la bonne foi, il n'en demeure pas moins qu'une limited partnership a été créée à Guernesey en octobre 2002 et que les recourants - dont il n'est pas contesté qu'ils étaient, au moment des faits litigieux, domiciliés en Suisse et, partant, qu'ils y étaient assujettis à l'impôt de manière illimitée en raison de ce critère de rattachement personnel (cf. art. 3 al. 1 et 6 al. 1 LIFD) - soutiennent que leur assujettissement illimité ne s'étendait pas aux revenus de D._ Guernesey dont ils étaient les associés (<ref-law> en relation avec l'<ref-law>).
9.
S'agissant de D._ Guernesey, l'<ref-law> pourrait entrer en considération.
9.1. Selon cette disposition, les sociétés commerciales étrangères et autres communautés étrangères de personnes sans personnalité juridique qui sont assujetties à l'impôt en raison d'un rattachement économique sont imposables conformément aux dispositions applicables aux personnes morales.
L'application de cette norme suppose que l'on se trouve en présence d'une entité étrangère (première condition) qui soit assujettie à l'impôt en raison d'un rattachement économique en Suisse (seconde condition).
9.2. L'<ref-law> ne prévoit pas de critères de rattachement économique. La doctrine se réfère de manière générale aux art. 4 et 5 LIFD à cet égard ( XAVIER OBERSON, Droit fiscal international, p. 72 n° 210; PETER LOCHER, Kommentar zum DBG, 2001, n° 15 ad art. 11 DBG). Ce dernier auteur ajoute toutefois que, concrètement, n'entrent en considération que les critères de l'art. 4 al. 1 let. a (propriété ou usufruit d'une entreprise en Suisse), b (établissement stable) et c (immeuble). Selon PETER AGNER/ANGELO DIGERONIMO/HANS-JÜRG NEUHAUS/GOTTHARD STEINMANN (C ommentaire de la loi sur l'impôt fédéral direct, Complément, 2001, n° 17 ad <ref-law>), sont applicables, dans le contexte de l'<ref-law>, les critères de rattachement économique liés à l'existence d'un établissement stable ou d'un immeuble (soit l'art. 4 let. b et c LIFD), mais également celui qui figure à l'art. 5 al. 1 let. c LIFD (titularité d'une créance garantie par un gage immobilier sur un immeuble en Suisse).
9.3. Sur le principe, le renvoi aux art. 4 et 5 LIFD est correct d'un point de vue systématique. En effet, dans la mesure où l'<ref-law> se trouve dans la deuxième partie de la LIFD, consacré aux personnes physiques, ce sont les critères de rattachement économiques prévus dans cette partie, à savoir les art. 4 et 5 LIFD, qui entrent en considération (cf. arrêt 2C_894/2013 du 18 septembre 2015 consid. 2.5.2). On ne peut toutefois faire abstraction du contexte particulier de l'<ref-law> et de la conséquence qu'a cette disposition sur l'entité concernée, à savoir le fait que celle-ci sera imposée conformément aux dispositions applicables aux personnes morales (cf. <ref-law>, selon lequel une société commerciale ou une communauté étrangère de personnes imposable selon l'<ref-law> est assimilée à la personne morale suisse dont elles se rapproche le plus par sa forme juridique ou sa structure effective). Dès lors que l'<ref-law> a pour conséquence une imposition selon les dispositions applicables aux personnes morales, il est nécessaire que les critères de rattachement économiques qui entrent en ligne de compte dans le cadre de l'<ref-law> puissent être appliqués à une personne morale. En d'autres termes, les critères de rattachement économique des art. 4 et 5 LIFD n'entrent en considération, en lien avec l'<ref-law>, que dans la mesure où ils se retrouvent dans la liste des critères de rattachement économique à l'impôt en Suisse d'une personne morale tels qu'ils sont définis à l'<ref-law>. Considérer sans distinction que tous les critères de rattachement économiques des art. 4 et 5 LIFD entrent en ligne de compte en lien avec l'<ref-law> aboutirait à des incohérences. Ainsi, par exemple, si l'on considérait que l'<ref-law> (exercice d'une activité lucrative en Suisse) constitue un critère de rattachement économique au sens de l'<ref-law> (ce qu'aucun auteur ne soutient toutefois), alors l'entité étrangère concernée deviendrait de ce fait imposable selon les dispositions applicables à une personne morale (art. 11 et 49 al. 3 LIFD). Or, comme on ne retrouve pas ce critère de rattachement économique dans la liste de l'<ref-law> (ce qui est au demeurant logique, une personne physique ne pouvant constituer par elle-même un critère de rattachement économique d'une personne morale, sauf dans le cas particulier des agents répondant aux critères de l'art. 5 par. 5 du Modèle OCDE de convention fiscale concernant le revenu et la fortune), cette entité étrangère ne pourrait finalement pas être imposée en Suisse, faute de rattachement économique au sens de l'<ref-law>, quand bien même elle est censée être imposable en Suisse en raison de l'<ref-law>. En conclusion, le renvoi aux critères de rattachement économique énumérés aux art. 4 et 5 LIFD qui figure à l'<ref-law> n'a de portée pratique que s'il se recoupe avec les critères de rattachement qui figurent à l'<ref-law>.
9.4. En l'espèce, l'état de fait présenté dans l'arrêt attaqué ne fournit aucun élément propre à établir que l'on serait en présence d'un critère de rattachement économique figurant aux art. 4 et 5 LIFD qui permettrait une imposition limité de D._ Guernesey en application de l'<ref-law>. L'<ref-law> n'entre partant pas en ligne de compte.
10.
Se pose ensuite la question de savoir si les revenus de D._ Guernesey doivent, comme le soutient la Cour de justice, être ajoutés aux propres éléments imposables des recourants en application de l'<ref-law>.
10.1. Aux termes de cette disposition, chacun des héritiers ou des associés ajoute à ses propres éléments imposables sa part du revenu de l'hoirie, de la société simple, de la société en nom collectif ou de la société en commandite.
Les entités visées à l'<ref-law> sont les communautés organisées selon le droit suisse aux <ref-law> (hoiries), 530 ss CO (sociétés simples) 552 ss CO (sociétés en nom collectif) et 594 ss CO (sociétés en commandite) et qui n'ont pas la personnalité juridique. Elles ne constituentdonc pas des sujets fiscaux indépendants, mais sont fiscalement transparentes (arrêt 2A.74/2002 du 8 septembre 2004, traduit in RDAF 2005 II 37; LOCHER, op. cit., n° 1 ad art. 10 DBG; HUGUES SALOMÉ, in Commentaire romand, Impôt fédéral direct, 2008, n° 2 ad <ref-law>).
L'<ref-law> est également susceptible de s'appliquer - sous réserve de la réalisation des conditions de l'<ref-law> - en relation avec l'attribution de revenus provenant d'une entité étrangère, si cette entitédoit être considérée comme transparente d'un point de vue fiscal suisse. Pour savoir si tel est le cas, le Tribunal fédéral a retenu qu'il convient d'examiner si cette entité possède ou non la personnalité juridique, ce qui se détermine selon le droit applicable au regard de l'art. 154 de la loi fédérale du 18 décembre 1987 sur le droit international privé (LDIP; RS 291), et que ce n'est que dans l'hypothèse où l'entité étrangère n'a pas la personnalité juridique que ses revenus sont alloués aux associés (arrêt 2C_664/2013 du 28 avril 2014 consid. 5.1). Dans l'arrêt 2C_894/2013 précité (consid. 3.1 et les nombreuses références citées), la Cour de céans a examiné en détail les différents critères pouvant entrer en considération pour appliquer l'<ref-law> à une entité étrangère et a précisé la jurisprudence posée dans l'arrêt 2C_664/2013 comme suit: si le droit civil de l'Etat d'incorporation de l'entité étrangère ne prévoit pas que celle-ci puisse avoir la personnalité juridique, alors une telle qualification ne peut pas être retenue pour l'application du droit fiscal suisse, comme cela ressort à juste titre de cet arrêt. Dans les situations où le droit fiscal étranger permet un traitement en transparence d'entités étrangères qui ont en principe la personnalité juridique selon le droit civil, il convient alors de se montrer plus nuancé, étant précisé que la qualification sur le plan fiscal dans l'Etat d'incorporation demeure un critère déterminant.
10.2. En l'espèce, D._ Guernesey est une limited partnership régie parla Limited Partnerships (Guernesey) Law, 1995. Si, à l'origine, cette loi ne prévoyait pas qu'une telle entité puisse acquérir la personnalité juridique, c'est le cas depuis le 1 er mai 2001 en vertu d'une nouvelle disposition de la loi, qui prévoit qu'une limited partnership acquiert la personnalité juridique si, au moment de son enregistrement, les general partners demandent que tel soit le cas (cf. art. 9A par. 1 du The Limited Partnerships (Guernsey) (Amendment) Law, 1997: " A limited partnership shall have legal personality if and only if, at the time of registration, the general partners so elect in accordance with the provisions of this section "; cf. également arrêt 2C_664/2013 précité consid. 5.2.2). En l'occurrence il ressort du "certificate of registration " de D._ Guernesey figurant au dossier que les recourants n'ont pas choisi de conférer la personnalité juridique à cette entité. D._ Guernesey n'est donc pas une personne morale au regard du droit de Guernesey.Dans ces circonstances, D._ Guernesey doit également être traitée comme une entité transparente du point de vue du droit fiscal suisse. Il en découle queses revenus doivent être attribués à ses associés, soit les recourants, en application de l'<ref-law>. Ces derniers ne contestent au demeurant pas l'application de cette disposition.
11.
Reste à déterminer si ces derniers peuvent, comme ils le soutiennent, se prévaloir de l'art. 6 al. 1 in fine LIFD pour obtenir l'exonération des revenus réalisés au travers de D._ Guernesey.
11.1. Selon cette disposition, l'assujettissement illimité ne s'étend pas aux entreprises, aux établissements stables et aux immeubles situés à l'étranger. En présence d'une entreprise, d'un établissement stable ou d'un immeuble situé à l'étranger, les revenus qui en découlent sont ainsi inconditionnellement - à savoir indépendamment d'une imposition à l'étranger - exemptés de l'impôt en Suisse, sous réserve de progressivité ( JEAN-BLAISE PASCHOUD, in Commentaire romand, Impôt fédéral direct, 2008, n° 5 ad <ref-law>; LOCHER, op. cit., n° 7 ad art. 6 DBG; XAVIER OBERSON, Précis de droit fiscal international, 4e éd. 2014, p. 97 n° 310 et p. 98 n° 312).
11.2. La notion d'établissement stable de l'<ref-law> recouvre, selon la définition qu'en donne l'<ref-law>, toute installation fixe dans laquelle s'exerce tout ou partie de l'activité d'une entreprise ou d'une personne exerçant une profession libérale. Un établissement stable suppose qu'une activité commerciale y soit exercée. Si une entreprise sise en Suisse n'apporte pas la preuve que son établissement stable à l'étranger exerce une activité commerciale suffisamment substantielle, celui-ci ne sera pas reconnu (cf., en relation avec l'<ref-law>, <ref-ruling> consid. 3.2 p. 88 ss). En cas de doute sur l'existence d'un établissement stable à l'étranger, l'on tend à soumettre les activités exercées à l'étranger à l'impôt en Suisse, en raison de l'assujettissement illimité dans ce pays, l'éventuelle convention de double imposition applicable étant à même de limiter, le cas échéant, la compétence d'imposer prévue par la Suisse selon son droit interne (ATF précité consid. 3.1.2 p. 87).
11.3. Quant à la notion d'entreprise au sens de l'<ref-law>, elle est large et comprend toute activité lucrative indépendante au sens de l'<ref-law> ( PASCHOUD, in op. cit., n° 13 s. ad <ref-law>; LOCHER, op. cit., n° 3 ad art. 4 DBG). Constitue ainsi une entreprise toute activité entrepreneuriale effectuée par une personne à ses propres risques, avec la mise en oeuvre de travail et de capital, dans un organisation librement choisie et reconnaissable de l'extérieur (cf. <ref-ruling> consid. 5a p. 120; arrêts 2C_664/2013 précité consid. 6.3; 2C_948/2010 du 31 octobre 2011 consid. 2.2, in StE 2012 B 23.2 Nr. 23; 2A.46/2005 du 31 août 2005 consid. 2.2.1, in StE 2006 B 23.1 Nr. 59). Elle peut être exploitée sous la forme de l'entreprise individuelle ou d'une société de personnes ( PASCHOUD, in op. cit., n° 22 s. ad <ref-law>). Si le contribuable n'apporte pas la preuve de l'existence d'une entreprise à l'étranger ou en cas de doute sur ce point, il convient de soumettre le revenu y afférent à l'impôt en Suisse, en raison de l'assujettissement illimité dans ce pays de l'entrepreneur, respectivement de l'associé. Pareille solution se justifie pour des question de cohérence avec la jurisprudence rendue en matière d'établissement stable à l'étranger, rappelée ci-dessus.
11.4. En l'espèce les recourants n'ont pas apporté d'éléments prouvantque D._ Guernesey présenterait les caractéristiques d'une entreprise ou d'un établissement stable à l'étranger, soit qu'une activité commerciale substantielle y ait été exercée.Ainsi, ils insistent sur le fait que D._ Guernesey effectuait à Guernesey sur place des tâches administratives, de planification des rendez-vous avec les clients et de préparation des assemblées générales. Or, eu égard au but de la société, de telles activités ne sauraient être assimilées à une activité commerciale exercée sur place. Par ailleurs, le fait que les recourants se soient rendus huit fois, mais au maximum quinze jours, à Guernesey durant l'exercice 2003, lequel s'étendait sur quatorze mois, ne saurait constituer un indice qu'ils y ont exercé une activité commerciale. Les recourants ne l'allèguent même pas, admettant en revanche qu'ils n'ont pas même rempli les conditions de présence qui étaient prévues par le ruling du 18 mars 2004 (cf. supra consid. 7). Il apparaît dès lors clairement que D._ Guernesey n'a pas exercé d'activité commerciale substantielle sur place, que les conditions d'application de l'<ref-law> en relation avec D._ Guernesey ne sont pas remplies et que les recourants ne peuvent partant se prévaloir de cette disposition pour obtenir l'exonération des revenus de cette entité en matière d'impôt fédéral direct.
Au surplus, l'arrêt attaqué constate, sans que les recourants n'aient démontré en quoi ces constats auraient été établis de manière arbitraire, qu'aucune preuve n'a été apportée de l'existence d'une activité commerciale depuis Londres ou ailleurs à l'étranger. En particulier, le fait que D._ Guernesey ait été, comme ils l'affirment, administrée depuis Londres n'est pas relevant, étant rappelé que les recourants se contredisent à ce sujet (cf. consid. 6.5).
12.
Au vu de ce qui précède, la Cour de justice n'a pas violé le droit fédéral en considérant que les revenus réalisés par l'intermédiaire de D._ Guernesey étaient attribuables aux recourants (<ref-law>) et que ceux-ci ne pouvaient se prévaloir de l'<ref-law> pour en obtenir l'exonération, étant précisé qu'aucune convention de double imposition n'est applicable entre la Suisse et Guernesey, qui viendrait limiter le droit de la Suisse d'imposer ces revenus.
VI. Impôt cantonal et communal
13.
En application de la loi cantonale genevoise sur l'imposition des personnes physiques - Objet de l'impôt - Assujettissement à l'impôt, en vigueur jusqu'au 31 décembre 2009 et applicable aux périodes fiscales 2003 et 2004 (aLIPP-I, cf. aussi art. 72 al. 1 de la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques; RSGE D 3 08), les personnes physiques sont assujetties à l'impôt (revenu et fortune) à raison de leur rattachement personnel lorsqu'elles sont domiciliées ou séjournent dans le canton (cf. art. 2 al. 1 aLIPP-I). Les sociétés n'ayant pas la personnalité juridique ne sont pas imposées comme telles, chacun des associés paie des impôts sur la part de capital et de revenu à laquelle il a droit (cf. art. 9 aLIPP-I). L'assujettissement fondé sur un rattachement personnel est illimité; il ne s'étend toutefois pas aux entreprises, aux établissements stables et aux immeubles hors du canton (art. 5 al. 1 aLIPP-I).
Cette réglementation est similaire à celle qui prévaut en matière d'impôt fédéral direct. Partant, il peut être renvoyé, pour l'impôt cantonal et communal, aux considérants développés ci-dessus en matière d'impôt fédéral direct, qui sont également applicables en matière d'impôt cantonal et communal.
14.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure de sa recevabilité. Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_123/2014 et 2C_124/2014 sont jointes.
2.
Le recours est rejeté dans la mesure de sa recevabilité, en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2003 et 2004.
3.
Le recours est rejeté dans la mesure de sa recevabilité, en tant qu'il concerne l'impôt cantonal et communal des périodes fiscales 2003 et 2004.
4. Les frais judiciaires, d'un montant de 12'000 fr., sont mis à la charge des recourants, solidairement entre eux.
5.
Le présent arrêt est communiqué au mandataire des recourants, à la Cour de justice de la République et canton de Genève, Chambre administrative, à l'Administration fiscale cantonale genevoise et à l'Administration fédérale des contributions.
Lausanne, le 30 septembre 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Vuadens