Faits :
A.
A.X._ et B.X._ (ci-après: les contribuables) sont mariés. Ils sont de nationalité néerlandaise et ont trois enfants mineurs. Ils sont propriétaires de leur logement, une villa sise à A._ en France. Ils exercent tous deux une activité lucrative dépendante dans le canton de Genève et y sont contribuables en qualité de quasi-résidents depuis la période fiscale 2004.
Dans chacune de leurs déclarations d'impôt pour les périodes fiscales 2004 à 2008, en relation avec leur immeuble en France, les contribuables ont indiqué pour les impôts cantonaux et communaux et l'impôt fédéral direct
- pour l'année fiscale 2004, un revenu brut immobilier de 16'036 fr. pour l'impôt cantonal et communal et 17'431 fr. pour l'impôt fédéral direct, contrebalancé par des charges et frais d'entretien de 1'123 fr. pour l'impôt cantonal et communal et 1'743 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 63'927 fr. L'immeuble avait une valeur de 1'564'147 fr. et la dette hypothécaire totalisait 1'344'844 fr.;
- pour l'année fiscale 2005, ils ont déclaré un revenu brut immobilier de 15'654 fr. pour l'impôt cantonal et communal et 17'789 fr. pour l'impôt fédéral direct, contrebalancé des charges et frais d'entretien de 1'096 fr. pour l'impôt cantonal et communal et 1'779 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 64'110 fr. L'immeuble avait une valeur de 1'496'141 fr. et la dette hypothécaire totalisait 1'494'107 fr.;
- pour l'année fiscale 2006, ils ont déclaré un revenu brut immobilier de 13'197 fr. pour l'impôt cantonal et communal et 15'710 fr. pour l'impôt fédéral direct, contrebalancé par des charges et frais d'entretien de 924 fr. pour l'impôt cantonal et communal et 1'571 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 78'691 fr. L'immeuble avait une valeur de 1'428'134 fr. et la dette hypothécaire totalisait 1'502'590 fr.;
- pour l'année fiscale 2007, ils ont déclaré un revenu brut immobilier de 12'337 fr. pour l'impôt cantonal et communal et 15'421 fr. pour l'impôt fédéral direct, contrebalancé par des charges et frais d'entretien de 864 fr. pour l'impôt cantonal et communal et 1'542 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 54'355 fr. L'immeuble avait une valeur de 1'360'128 fr. et la dette hypothécaire totalisait 1'461'963 fr.;
- pour l'année fiscale 2008, ils ont déclaré un revenu brut immobilier de 11'720 fr. pour l'impôt cantonal et communal et 15'421 fr. pour l'impôt fédéral direct, contrebalancé par des charges et frais d'entretien de 19'968 fr. pour l'impôt cantonal et communal et 19'968 fr. pour l'impôt fédéral direct, leurs intérêts hypothécaires s'élevant à 53'655 fr.. L'immeuble avait une valeur de 1'292'122 fr. et la dette hypothécaire totalisait 1'405'834 fr.
Le 1er novembre 2010, l'Administration fiscale cantonale du canton de Genève a transmis aux contribuables deux bordereaux de taxation concernant l'impôt cantonal et communal et l'impôt fédéral direct 2004 comprenant notamment un correctif de 49'013 fr. en leur défaveur. La déduction de l'excédent des intérêts passifs attribués à l'immeuble sis en France était refusée. Le 26 novembre 2010, les contribuables ont déposé une réclamation contre leurs taxations d'impôt cantonal et communal et d'impôt fédéral direct 2004, invoquant une discrimination prohibée par les principes fondamentaux du droit communautaire.
Le 24 janvier 2011, l'Administration fiscale cantonale a adressé aux contribuables six bordereaux de taxation concernant l'impôt cantonal et communal et l'impôt fédéral direct 2005, 2006 et 2007 comprenant notamment des correctifs de 49'847 fr., 51'172 fr. respectivement 40'106 fr. en leur défaveur. Les 10 et 22 février 2011, les contribuables ont déposé une réclamation contre leurs taxations d'impôt cantonal et communal et d'impôt fédéral direct 2005, 2006 et 2007.
Le 18 mars 2011, l'Administration fiscale cantonale a adressé aux contribuables deux bordereaux de taxation relatif à l'impôt cantonal et communal et l'impôt fédéral direct 2008 comprenant un correctif de 60'578 fr. en leur défaveur. Le 11 avril 2011, les contribuables ont déposé une réclamation contre leur taxation d'impôt cantonal et communal et d'impôt fédéral direct 2008.
Par décisions sur réclamation du 14 avril 2011, l'Administration fiscale cantonale a maintenu les taxations d'impôt cantonal et communal et d'impôt fédéral direct des contribuables pour les années fiscales 2004, 2005, 2006 et 2007. Par décisions sur réclamation du 23 mai 2011, l'Administration fiscale cantonale a également maintenu la taxation concernant l'impôt cantonal et communal et l'impôt fédéral direct 2008.
B.
Par acte du 11 mai 2011, les contribuables ont interjeté recours auprès du Tribunal administratif de première instance contre les décisions précitées et leurs bordereaux d'impôt cantonal et communal et d'impôt fédéral direct 2004 à 2007. Le 20 juin 2011, ils ont également interjeté recours contre les décisions concernant l'impôt cantonal et communal et l'impôt fédéral direct 2008 auprès du Tribunal administratif de première instance, en concluant à la jonction des causes, à l'annulation de ces décisions et à la constatation de la déductibilité entière de l'excédent d'intérêts passifs des revenus imposables en Suisse.
Par jugement du 5 novembre 2012, le Tribunal administratif de première instance a rejeté le recours des contribuables.
Le 12 décembre 2012, les contribuables ont interjeté recours auprès de la Cour de justice du canton de Genève contre le jugement du 5 novembre 2012.
C.
Par arrêt du 14 janvier 2014, la Cour de justice du canton de Genève a rejeté le recours. Elle a jugé que l'excédent de charges liées aux immeubles sis à l'étranger fait partie des «autres hypothèses» prévues à l'art. 6 al. 3 3ème phr. LIFD et qu'il ne peut pas être pris en considération pour la détermination du revenu net, mais uniquement pour celle du taux de l'impôt. Elle a jouté que les contribuables étaient ressortissants hollandais, résidaient en France et travaillaient dans le canton de Genève et qu'ils étaient traités de la même manière que des ressortissants suisses résidant à Genève et disposant d'une résidence secondaire en France. L'art. 6 al. 3 3ème phr. LIFD n'était dès lors pas contraire au principe de non-discrimination découlant de l'Accord conclu le 21 juin 1999 entre la Suisse, d'une part, et la communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). Enfin, dans la mesure où la fiscalité était une question relevant de la compétence des Etats parties à l'ALCP, il n'y avait pas lieu de se référer à la jurisprudence de la CJCE (actuellement CJUE) pour interpréter la notion d'excédent d'intérêts passifs, d'autant moins que ledit accord ne traitait pas expressément de cette problématique.
D.
Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt rendu le 14 janvier 2014 par la Cour de justice du canton de Genève et de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Ils soutiennent qu'à titre de quasi résident au sens du droit fiscal suisse le refus de déduire du revenu imposable en Suisse de l'excédent de charge provenant de l'immeuble sis en France viole l'ALCP et la jurisprudence de la CJCE.
La Cour de justice s'en remet à justice quant à la recevabilité du recours et persiste au surplus dans les considérants et le dispositif de son arrêt. L'Administration fiscale genevoise et l'Administration fédérale des contributions proposent de rejeter le recours.

Considérant en droit :
1.
L'autorité précédente a rendu une seule décision valant pour les deux catégories d'impôts, ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher aux recourants d'avoir, dans leur recours au Tribunal fédéral, formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'impôt fédéral direct (2C_199/2014) et l'autre l'impôt cantonal et communal (2C_198/2014). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
1.1. L'arrêt attaqué concerne le revenu imposable des périodes fiscales 2004 à 2008. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base des <ref-law>. et 146 LIFD. En matière d'impôt cantonal et communal, l'imposition du revenu étant une matière harmonisée aux art. 7 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est aussi réservée par l'<ref-law> (cf. <ref-ruling> ss).
1.2. Pour le reste, déposé en temps utile (cf. <ref-law>) et dans les formes requises (cf. <ref-law>), le recours est dirigé contre une décision finale (cf. <ref-law>) rendue par un tribunal supérieur statuant en dernière instance cantonale (cf. art. 86 al. 1 let. d et al. 2 LTF). Il a en outre été interjeté par les contribuables destinataires de la décision attaquée, qui ont un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>). Il convient donc d'entrer en matière.
1.3. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral, qui comprend le droit international.
2.
2.1. Conformément à la jurisprudence, les dispositions de l'ALCP ne trouvent application qu'en présence d'un élément d'extranéité. Cela signifie qu'un ressortissant d'un État membre doit avoir fait usage des droits et libertés reconnus par l'Accord pour être fondé à se prévaloir des dispositions correspondantes dudit Accord, ce que l'<ref-law> énonce expressément en interdisant toute discrimination "dans l'application et conformément aux dispositions des annexes I, II et III de l'Accord" (<ref-ruling> consid. 11 p. 247 ss).
En l'espèce, en étant domiciliés en France, où ils sont propriétaires de leur logement et en travaillant en Suisse, les recourants de nationalité néerlandaise, peuvent invoquer le bénéfice des droits et libertés garantis par l'Accord et ses annexes.
2.2. Dans la mesure en outre où les recourants réalisent l'essentiel de leurs revenus en Suisse, ils doivent être qualifiés de quasi-résidents et être traités comme des contribuables résidents (<ref-ruling> consid. 13 p. 249 ss), comme l'a constaté à bon droit l'instance précédente (arrêt attaqué, consid. 11 p. 14), qui a examiné par conséquent le régime fiscal résultant de l'<ref-law> et des dispositions similaires de droit cantonal.
3.
3.1. L'art. 6 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) a la teneur suivante:
" 1 L'assujettissement fondé sur un rattachement personnel est illimité; il ne s'étend toutefois pas aux entreprises, aux établissements stables et aux immeubles situés à l'étranger.
2 [...]
3 L'étendue de l'assujettissement pour une entreprise, un établissement stable ou un immeuble est définie, dans les relations internationales, conformément aux règles du droit fédéral concernant l'interdiction de la double imposition intercantonale. Si une entreprise suisse compense, sur la base du droit interne, les pertes subies à l'étranger par un établissement stable avec des revenus obtenus en Suisse et que cet établissement stable enregistre des gains au cours des sept années qui suivent, il faut procéder à une révision de la taxation initiale, à concurrence du montant des gains compensés auprès de l'établissement stable; dans ce cas, la perte subie par l'établissement stable à l'étranger ne devra être prise en considération, a posteriori, que pour déterminer le taux de l'impôt en Suisse. Dans toutes les autres hypothèses, les pertes subies à l'étranger ne doivent être prises en considération en Suisse que lors de la détermination du taux de l'impôt. Les dispositions prévues dans les conventions visant à éviter la double imposition sont réservées.
4 [...]."
Selon la jurisprudence, comme l'assujettissement fondé sur un rattachement personnel en Suisse ne s'étend pas aux rendements (positifs) des entreprises, des établissements stables et des immeubles situés à l'étranger, les résultats négatifs ne peuvent - sous réserve des pertes des établissements stables (art. 6 al. 3 2ème phrase LIFD) - être déduits lors de la détermination de l'assiette imposable en Suisse. La formulation très générale "[d]ans toutes les autres hypothèses [...]", de la 3ème phrase de l'<ref-law> vise par conséquent aussi les excédents de charges sur immeubles (<ref-ruling> consid. 4 et 5 p. 146 ss).
3.2. Le canton de Genève a repris les règles de l'<ref-law> à l'art. 5 al. 1 et 4 de l'ancienne loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - objet de l'impôt - assujettissement à l'impôt (aLIPP-I; RSGE D 3 11; dans sa teneur applicable à la période fiscale 2008, remplacée depuis le 1er janvier 2010 par la loi du 27 septembre 2009 sur l'imposition des personnes physiques [RSGE D 3 08]) qui avait la teneur suivante:
" 1 L'assujettissement fondé sur un rattachement personnel est illimité; il ne s'étend toutefois pas aux entreprises, aux établissements stables et aux immeubles situés hors du canton.
4 Si une entreprise ayant son siège ou son administration effective dans le canton compense, sur la base du droit interne, les pertes subies à l'étranger par un établissement stable avec des revenus obtenus dans le canton et que cet établissement stable enregistre des bénéfices au cours des sept années qui suivent, le département doit procéder à une révision de la taxation initiale, à concurrence du montant des bénéfices compensés auprès de l'établissement stable ; dans ce cas, la perte subie par l'établissement stable à l'étranger ne devra être prise en considération, a posteriori, que pour déterminer le taux de l'impôt dans le canton. Dans toutes les autres hypothèses, les pertes subies à l'étranger ne doivent être prises en considération dans le canton que lors de la détermination du taux de l'impôt."
Selon la jurisprudence rendue dans une affaire concernant le canton de Genève, s'il fallait considérer, question laissée ouverte, que l'art. 5 aLIPP-I constitue du droit cantonal harmonisé, il y aurait lieu, en vue d'une harmonisation verticale (<ref-ruling> consid. 8 p. 156 s.), d'interpréter cette disposition de la même manière que l'<ref-law>, dont elle reprend la teneur (<ref-ruling> consid. 5 p. 159 s.), comme l'a jugé à bon droit l'arrêt attaqué.
4.
Les recourants ne formulent aucune critique à l'encontre de l'interprétation par la jurisprudence des <ref-law> et 5 aLIPP-I. Ils soutiennent en revanche que cette interprétation est contraire à l'ALCP.
4.1. Ils invoquent en premier lieu l'<ref-law> qui interdit toute discrimination envers les ressortissants d'une partie contractante en raison de leur nationalité ainsi que l'<ref-law> qui prévoit qu'aucune disposition de l'accord ne peut être interprétée de manière à empêcher les parties contractantes d'établir une distinction, dans l'application des dispositions pertinentes de leur législation fiscale, entre les contribuables qui ne se trouvent pas dans des situations comparables, en particulier en ce qui concerne leur lieu de résidence.
Ils sont d'avis qu'en leur qualité de quasi-résidents, ils doivent être traités de la même manière qu'un contribuable ayant sa résidence principale en Suisse.
Le grief de violation de l'ALCP doit être rejeté pour les motifs suivants.
4.2. Les recourants n'expliquent pas et le Tribunal fédéral ne voit pas en quoi le refus par l'instance précédente de déduire de leur revenu imposable en Suisse en qualité de quasi-résidents l'excédent de charges provenant de leur immeuble sis à l'étranger serait différent du même refus opposé, selon la jurisprudence (<ref-ruling> consid. 4 et 5 p. 146 ss, 157 consid. 5 p. 159 s.), aux contribuables ayant leur résidence principale en Suisse qui sont, dans une situation comparable à la leur, propriétaires d'un immeuble à l'étranger. Leur traitement fiscal à cet égard est en tout point identique, de sorte que les recourants ne peuvent trouver aucun appui pour défendre leur thèse dans les arrêts de la CJCE du 21 février 2006 C-152/03 Ritter-Coulais (Rec. 2006 I-1711), du 18 juillet 2007 C-182/06 Lakebrink (Rec. 2007 I-6705), du 16 octobre 2008 C-527/06 Renneberg (Rec. 2008 I-7735), qui concernaient des contribuables qui avaient été traités différemment par l'Etat d'emploi, s'agissant de la prise en compte de rendements immobiliers négatifs, que ne l'auraient été des personnes résidentes (cf. <ref-ruling> consid. 7.1.1 p. 152).
4.3. Les recourants se prévalent également de deux arrêts de la CJCE du 11 septembre 2007 C-76/05 Epoux Schwarz (Rec. 2007 I-6849) et C-318/05 Commission contre Allemagne (Rec. 2007 I-6957). Ils soutiennent que le refus qui leur est opposé constitue une "restriction indistinctement applicable" de la libre circulation contraire à l'ALCP. Ils perdent de vue que cette objection a déjà été écartée par le Tribunal fédéral dans un arrêt du 23 janvier 2014 aux considérants duquel il peut être renvoyé sur ce point, du moment que le mémoire de recours ne développe aucune critique qui aurait pour effet de changer la jurisprudence (<ref-ruling> consid. 7.2.3 p. 154 s.).
5.
Les considérants qui précédent conduisent au rejet du recours. Succombant, les recourants doivent supporter un émolument judiciaire, solidairement entre eux (art. 65 et 66 LTF). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_198/2014 et 2C_199/2014 sont jointes.
2.
Le recours est rejeté en matière d'impôt fédéral direct.
3.
Le recours est rejeté en matière d'impôt cantonal et communal.
4.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge des recourants, solidairement entre eux.
5.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fiscale et à la Cour de justice du canton de Genève, Chambre administrative, 2ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 4 septembre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Le Greffier :
Zünd Dubey