Faits : A. A.a. Les époux A.A._ et B.A._ étaient actionnaires, chacun à raison de 50%, de C._, la société faîtière du groupe C._, actif dans le domaine de l'événementiel. Le 12 septembre 2002, ils ont adressé à l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) une demande de ruling faisant suite à l'entretien qui s'était tenu à ce sujet dans les locaux de dite administration le 20 août 2002. Ils y exposaient qu'ils envisageaient de constituer dans les six mois une limited partnership à Guernesey, dont ils deviendraient les associés indéfiniment responsables (" general partners ") et à qui ils apporteraient leur participation dans C._ à la valeur nominale. Leurs trois enfants en seraient associés responsables de manière limitée. La limited partnership aurait pour but de mettre à la disposition de C._ la compétence des contribuables dans le domaine de l'événementiel par la fourniture de prestations de conseil à des clients du monde entier, de manière à renforcer la présence du groupe sur la scène internationale. Elle louerait ses propres locaux et engagerait son propre personnel pour les tâches administratives; la comptabilité serait ainsi tenue sur l'île et la coordination des rendez-vous et des activités y serait également effectuée. Les époux A._ seraient amenés à se rendre régulièrement sur place, même si leurs prestations devraient être principalement fournies au siège de leurs clients, à l'étranger. Sous l'angle fiscal, les contribuables sollicitaient que la structure à créer soit reconnue comme entreprise à l'étranger, mais qu'un montant fixe de 100'000 fr. par année et par personne soit imposable à titre de revenu en Suisse, au taux maximal. Les démarches nécessaires à la réalisation de la structure envisagée seraient mises en oeuvre une fois l'accord de l'Administration cantonale obtenu. Le 30 octobre 2002, les époux A._ ont fait inscrire la société D._Limited Partnership (ci-après: D._ Guernesey ou la Société) dans le registre des limited parterships de Guernesey. Le 18 mars 2004, l'Administration cantonale a retourné aux contribuables la demande de ruling du 12 septembre 2002 munie du timbre humide " Bon pour accord " et de la mention " Accord octroyé dans les limites du contenu de notre courrier d'accompagnement du 18 mars 2004 ". Ledit courrier reprenait les engagements que les contribuables avaient formulés le 12 septembre 2002 et exigeait d'eux qu'ils puissent démontrer en tout temps l'effectivité et le caractère opérationnel de l'infrastructure et la gestion des titres C._ à Guernesey. L'Administration cantonale précisait qu'elle ne reconnaîtrait l'existence d'un établissement stable sur l'île qu'à la condition que chacun des associés y travaille au moins trente jours ou s'y déplace au moins dix fois par année à des fins professionnelles. Les avoirs et les bénéfices de D._ Guernesey seraient exonérés de l'impôt fédéral, cantonal et communal (sous réserve de progressivité), dans la mesure où ils seraient effectivement gérés, respectivement réalisés à l'étranger; à défaut, ils seraient imposés dans le chef des associés. L'évaluation forfaitaire des revenus imputables aux contribuables correspondrait au minimum à 10% des profits nets de D._ Guernesey, ce montant pouvant être revu par l'Administration cantonale à chaque période fiscale, en fonction de l'organisation de l'activité. A.b. Le 3 novembre 2004, les contribuables ont déposé leur déclaration d'impôt pour la période fiscale 2003, indiquant un revenu et une fortune imposables au titre de l'impôt cantonal et communal (ci-après: ICC) de 147'745 fr., respectivement de 617'568 fr., et un revenu imposable au titre de l'impôt fédéral direct (ci-après: IFD) de 163'230 fr. Leur déclaration fiscale pour l'année 2004, remise le 5 octobre 2005, indiquait un revenu et une fortune imposables ICC de 133'303 fr., respectivement de 0 fr., et un revenu imposable IFD de 152'324 fr. Par courriers des 6 et 25 septembre et 19 octobre 2006, l'Administration cantonale a requis des contribuables qu'ils démontrent l'effectivité et le caractère opérationnel de D._ Guernesey et qu'ils produisent le détail des honoraires encaissés durant l'exercice 2003, des frais de voyage avec justificatifs, ainsi que, pour l'année 2004, du chiffre d'affaires et des postes de charges. Elle sollicitait également que les contribuables prouvent qu'ils disposaient de locaux et de personnel qualifié sur place et qu'ils s'y rendaient selon les fréquences requises. Par courrier du 6 novembre 2006, les intéressés ont répondu à l'Administration cantonale que l'activité commerciale de D._ Guernesey s'était remarquablement développée avec l'établissement de nouveaux partenariats en Europe, au Moyen Orient et en Asie, que cette évolution les avaient amenés à se rendre régulièrement à Londres et qu'ils avaient dès lors décidé de faire de ce lieu le " deuxième pilier " de leur vie professionnelle en y créant, dans le courant 2004, la société E._ Limited Liability Partnership (ci-après: E._ Londres), dont ils étaient personnellement propriétaires. E._ Londres avait été nommée general partner de D._ Guernesey aux côtés du fils des contribuables. Concernant D._ Guernesey, les contribuables expliquaient qu'elle disposait sur l'île de locaux commerciaux équipés des moyens de communication nécessaires à sa gestion et qui étaient loués à l'entreprise F._ Limited. Un employé, G._, était engagé à 50% pour procéder à la facturation, à la tenue de la comptabilité, au contrôle des comptes, à la coordination des réunions internes et des rendez-vous avec les clients, ainsi qu'à la préparation des assemblées générales. La Société avait comptabilisé 9'7852 EUR (recte: 9'752 EUR; art. 105 al. 2 LTF) sous le poste " administration fees " pour l'exercice 2003 et 17'813.24 EUR sous le poste " administration fees/accounting/staff " pour l'exercice 2004. Les honoraires encaissés s'élevaient à 800'285 EUR pour l'exercice 2003 et à 832'130 EUR en 2004. Ils provenaient de l'organisation de nombreux congrès dans des villes européennes - excepté Guernesey - ainsi que, pour certains, dans le reste du monde. Cela avait représenté 224, respectivement 202 jours d'activité pour B.A._ et 140, respectivement 138 jours d'activité pour A.A._ pour les exercices 2003, respectivement 2004. Les contribuables relevaient qu'ils avaient séjourné régulièrement à Londres et à Guernesey pour leur activité commerciale et que leur fils était présent sur place depuis 2004 pour assurer la gestion de D._ Guernesey. Les frais de voyage des époux A._ s'élevaient à 92'020 EUR pour l'exercice 2003 et à 251'286.97 EUR pour l'exercice 2004. Ils produisaient un document intitulé " Travelling expenses 2002/2003 ", qui faisait état de huit voyages à Guernesey pour les deux époux. Aucun détail des voyages n'était présenté pour l'exercice 2004. B. Le 18 décembre 2008, l'Administration cantonale a " dénoncé avec effet immédiat " le ruling au motif que les exigences qu'elle avait posées à la reconnaissance d'une activité indépendante depuis un établissement stable à Guernesey n'avaient pas été respectées: D._ Guernesey ne possédait pas de bureau, F._ Limited se contentant de mettre à sa disposition une surface dans ses propres locaux; G._ était employé par une structure dépendant de F._ Limited et son revenu comptabilisé comme honoraires d'administration dans les comptes de la Société; en outre, les contribuables n'avaient été présents sur l'île que durant huit jours sur les quatorze mois de l'exercice 2003 (soit du 30 octobre 2002 au 31 décembre 2003), et les honoraires encaissés se rapportaient à des séminaires dispensés principalement en Europe, mais pas à Guernesey. Par décision de taxation du 19 décembre 2008 concernant la période fiscale 2003, l'Administration cantonale a attribué les revenus et la fortune de D._ Guernesey aux époux A._. Il en est résulté pour les contribuables un revenu imposable de 1'097'027 fr. pour l'impôt cantonal et communal et de 1'105'500 fr. pour l'impôt fédéral direct, et une fortune imposable de 9'611'364 fr. Le 30 octobre 2009, elle a fait de même pour la période fiscale 2004: le revenu imposable des époux A._ a ainsi été fixé à 727'958 fr. pour l'impôt cantonal et communal, à 739'900 fr. pour l'impôt fédéral direct, et la fortune imposable à 24'636'653 fr. Les contribuables ont élevé réclamations contre ces décisions de taxation, que l'Administration cantonale a rejetées par décisions sur réclamation du 15 octobre 2010. Le recours qu'ils ont interjeté à l'encontre de ces décisions sur réclamation auprès de l'actuel Tribunal administratif de première instance du canton de Genève a été, par jugement du 21 décembre 2011, partiellement admis sur un point étranger au présent litige (répartition internationale et intercantonale d'intérêts passifs) et rejeté pour le surplus. Les intéressés ont déféré ce jugement à la Cour de justice, Cour administrative du canton de Genève (ci-après: la Cour de justice), soutenant qu'ils remplissaient les conditions relatives à l'engagement de personnel et de présence effective sur place, à l'exception du nombre de jours requis par l'Administration cantonale le 18 mars 2004, que le ruling avait été dénoncé à tort et qu'il devait leur être appliqué. Par arrêt du 10 décembre 2013, la Cour de justice a rejeté le recours et confirmé le jugement du Tribunal administratif de première instance ainsi que les décisions sur réclamation du 15 octobre 2010. Elle a retenu, en substance, que dans la mesure où les époux A._ n'avaient pas respecté les exigences du ruling relatives au nombre minimum de jours de présence ou de déplacements à Guernesey, ils ne pouvaient s'en prévaloir. Examinant ensuite si la structure mise en place par les recourants à l'étranger pouvait néanmoins être reconnue d'un point de vue fiscal, elle a conclu que tel n'était pas le cas, faute de présenter un caractère opérationnel et de l'existence d'une gestion effective à l'étranger. Les intéressés ne pouvaient pas non plus se prévaloir du principe de la protection de la bonne foi au motif qu'ils auraient respecté les conditions telles que libellées dans leur demande du 12 septembre 2002 et qu'ils ne pouvaient pas avoir connaissance, pour la période fiscale 2003, des critères qui seraient posés par l'Administration cantonale le 18 mars 2004. Ils n'avaient en effet pas démontré ni rendu vraisemblable que l'Administration cantonale se serait engagée à leur égard antérieurement au 18 mars 2004 et dans les termes qu'ils prétendaient; ils avaient par ailleurs agi de leur propre chef dès l'année 2002 sans attendre la réponse de l'Administration cantonale à leur demande du 12 septembre 2002. Pour la période fiscale 2004, les contribuables ne pouvaient plus tenter de se prévaloir de l'ignorance des critères posés par dite Administration, qui leur avaient été communiqués le 18 mars 2004. C. Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral sous suite de frais et dépens, après avoir joint les causes, (1) d'annuler l'arrêt du 10 décembre 2013 de la Cour de justice, (2) de constater que la demande de ruling du 12 septembre 2002 est toujours en vigueur à l'exclusion d'un nombre minimum de jours de présence ou de déplacement exigé le 18 mars 2004, (3) d'ordonner " la taxation selon les justifications matérielles avec un revenu imposable 2003 de CHF 43'534 au taux de CHF 55'512 et une fortune imposable 2003 de CHF 0 ainsi qu'avec un revenu imposable 2004 de CHF 30'732 ", (4) " d'ordonner la taxation selon les justifications matérielles avec un revenu imposable 2003 de CHF 51'115 au taux de CHF 63'595 ainsi qu'avec un revenu imposable 2004 de CHF 41'656 au taux de CHF 256'881 "; subsidiairement, d'acheminer les recourants à prouver les faits allégués dans leur mémoire; plus subsidiairement, de renvoyer la cause à l'Administration cantonale pour qu'elle procède à une répartition internationale tenant compte de l'activité effective déployée depuis Guernesey et depuis Londres pour le cas où la Cour de céans devait retenir l'absence de siège principal de D._ Guernesey à l'étranger. L'Administration cantonale et l'Administration fédérale des contributions se sont déterminées et ont conclu au rejet du recours. La Cour de justice a persisté dans les considérants et le dispositif de son arrêt. Les recourants ont déposé des observations finales.