Faits:
A.
Les époux A.X._ et B.X._ (ci-après aussi: les contribuables ou les recourants), ressortissants français, sont domiciliés dans le canton de Genève. Ils sont propriétaires d'une villa à C._, ainsi que d'une résidence secondaire en France, à D._.
Dans leur déclaration fiscale pour la période 2008, les époux X._ ont mentionné trois emprunts hypothécaires: le premier, d'un montant de 1'000'000 fr., grevait leur immeuble de C._ (les intérêts passifs y afférents étant de 40'500 fr.); les deux autres, représentant 5'538'641 fr. au total, concernaient des travaux de rénovation de leur chalet de D._ (les intérêts y relatifs ascendant à 159'360 fr.).
Par bordereaux de taxation du 4 octobre 2010, l'Administration fiscale genevoise a fixé les montants d'impôt dus par les contribuables pour la période 2008. L'impôt fédéral direct (ci-après: IFD) avait été calculé sur la base d'un revenu de 223'000 fr. imposable au taux de 164'300 fr. et l'impôt cantonal et communal (ci-après: ICC) sur la base d'un revenu de 228'589 fr. imposable au taux de 176'243 fr. et d'une fortune de 3'366'336 fr. imposable au taux de 6'009'815 fr. L'Administration fiscale genevoise avait procédé, au titre du revenu, à une reprise de 52'346 fr., montant correspondant à un excédent de charges en relation avec l'immeuble de D._, les revenus de celui-ci ne suffisant pas à couvrir les intérêts passifs.
B.
Sur réclamation des contribuables, la reprise en question a été confirmée par décisions du 3 novembre 2010.
A l'encontre de ces décisions, les contribuables ont recouru à la Commission cantonale de recours en matière administrative, dont les compétences ont été reprises entre-temps par le Tribunal administratif de première instance du canton de Genève.
Le 3 octobre 2011, le Tribunal administratif de première instance a rejeté le recours.
Les contribuables ont déféré ce jugement à la Chambre administrative de la Cour de justice du canton de Genève, qui les a déboutés par arrêt du 21 août 2012. S'agissant de l'IFD, les juges cantonaux ont considéré qu'au regard du droit interne, en particulier de l'art. 6 al. 3 3e phrase de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11), un excédent de charges liées aux immeubles sis à l'étranger ne pouvait être pris en considération lors de la détermination du revenu imposable, mais seulement lors du calcul du taux d'imposition. Il n'en allait pas différemment sur la base de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), ni de la jurisprudence de la Cour de justice des Communautés européennes antérieure à la date de signature de cette convention. Pour ce qui est de l'ICC, la situation était la même qu'en matière d'IFD, la disposition pertinente - l'art. 5 al. 4 in fine de la loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - objet de l'impôt - assujettissement à l'impôt (LIPP-I; en vigueur jusqu'au 31 décembre 2009) -, étant calquée sur l'art. 6 al. 3 3e phrase LIFD.
C.
Agissant par la voie du recours en matière de droit public, les contribuables demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt attaqué et de renvoyer le dossier à l'Administration fiscale genevoise, afin qu'elle rende une nouvelle décision dans le sens des considérants.
L'autorité précédente s'en remet à justice quant à la recevabilité du recours et persiste au surplus dans les considérants et le dispositif de son arrêt. L'Administration fiscale genevoise et l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, proposent de rejeter le recours.
Par courrier du 22 mars 2013, la Cour de justice a informé le Tribunal fédéral de ce qu'il était apparu que l'un des membres du Tribunal administratif de première instance ayant rendu l'arrêt du 3 octobre 2011 n'était alors plus domicilié dans le canton de Genève et ne remplissait plus l'une des conditions d'éligibilité. La Cour de justice avait, pour ce motif, annulé d'autres jugements du Tribunal administratif de première instance qui avaient fait l'objet de recours pendants auprès d'elle.
Invités par le Tribunal de céans à se déterminer sur le contenu de cette écriture, les recourants ont fait savoir, par courrier du 9 avril 2013, qu'ils renonçaient à se plaindre du vice affectant l'arrêt du Tribunal administratif de première instance du 3 octobre 2011. L'Administration fiscale genevoise a répondu que la teneur du courrier du 22 mars 2013 n'appelait aucune observation de sa part (écriture du 22 avril 2013).
Le Tribunal fédéral a mené une procédure d'échange de vues selon l'<ref-law> (voir consid. 1 ci-après).

Considérant en droit:
1.
Il convient dans un premier temps d'examiner la portée du fait que, selon le courrier du 22 mars 2013, l'un des juges assesseurs ayant pris part au prononcé de l'arrêt du Tribunal administratif de première instance du 3 octobre 2011 n'était alors plus domicilié dans le canton de Genève.
1.1. Les juges assesseurs sont, selon le droit cantonal genevois, des magistrats de l'ordre judiciaire (<ref-ruling> consid. 2 p. 108 s.) qui, pour être éligibles, doivent remplir les conditions de l'art. 5 al. 1 et 2 de la loi genevoise sur l'organisation judiciaire du 26 septembre 2010 (RS/GE E 2 05; LOJ), notamment avoir l'exercice des droits politiques dans le canton de Genève et y être domiciliés. Le fait qu'un magistrat n'était plus domicilié dans le canton lorsqu'il a pris part au prononcé d'une décision de justice est susceptible de porter atteinte à l'art. 30 al. 1 Cst., dans la mesure où cette norme constitutionnelle exige qu'une autorité judiciaire statue dans une composition régulière (<ref-ruling> consid. 1.3.1 p. 338 et les références). S'agissant de normes de droit cantonal et de droits constitutionnels, soit de dispositions dont le Tribunal de céans ne vérifie pas d'office le respect (<ref-law>), il appartient au recourant de soulever le grief de leur violation et de motiver celui-ci d'une manière suffisante (cf. arrêts 2C_646/2011 du 18 septembre 2012 consid. 1.3; 4A_97/2011 du 22 mars 2011 consid. 4; <ref-ruling> consid. 2.1 et 2.1.1 [rendu sous l'OJ], où le grief de violation de l'art. 30 Cst. a été déclaré irrecevable faute d'épuisement des instances cantonales). En tout état de cause, le fait qu'un des magistrats ne remplissait plus la condition d'éligibilité du domicile dans le canton lors du prononcé de la décision en cause ne saurait entraîner la nullité de cette dernière (cf. <ref-ruling> consid. 5.6, selon lequel les décisions auxquelles a participé un juge dont l'élection n'était pas valable en raison de l'absence de domicile dans le canton comme condition d'éligibilité, sont annulables et non pas nulles). La conséquence de la nullité s'impose d'autant moins que l'obligation de domicile dans le canton ne doit pas garantir notamment l'indépendance du tribunal, mais poursuit un autre but, à savoir assurer que les magistrats présentent un lien avec le canton (arrêt 4A_97/2011 précité, consid. 5.5).
1.2. Dans le cas particulier, s'agissant d'un vice révélé après le dépôt du recours devant le Tribunal fédéral, un échange d'écritures supplémentaire a été effectué, afin de donner aux parties l'occasion de se déterminer à ce propos. Or, les recourants ont expressément renoncé à se plaindre du vice en question, alors que l'Administration fiscale genevoise ne s'est pas exprimée. Compte tenu du fait que le Tribunal de céans ne vérifie pas d'office le respect des dispositions cantonales et des droits constitutionnels éventuellement violés en l'occurrence (cf. consid. 1.1 ci-dessus), il n'y a a priori pas lieu d'examiner les conséquences du vice en question. Dans l'arrêt 9C_836/2012 du 15 mai 2013, il a toutefois été jugé que l'autorité judiciaire cantonale, dont l'un des membres ne remplit plus la condition d'éligibilité prévue par le droit cantonal du domicile dans le canton, n'est pas composée conformément à la loi, ce qui constitue une violation de l'art. 30 al. 1 Cst. et entraîne l'annulation du jugement (voir aussi les arrêts 9C_683/2012 du 27 mai 2013 et 8C_470/2012 du 29 mai 2013). Le vice en question a donc été relevé d'office, alors que les parties avaient renoncé à se déterminer à ce propos ou s'en étaient remises à justice. Ce précédent se réfère en particulier aux <ref-ruling> et 135 V 124. Or, le premier arrêt cité a été rendu sous l'OJ sur recours de droit administratif, voie de droit dans laquelle le Tribunal fédéral revoyait d'office l'application du droit fédéral, notion qui incluait les droits constitutionnels (cf. <ref-ruling> consid. 1.2 p. 318). Le second a certes été rendu sous la LTF, mais il avait trait à la question de la compétence d'un tribunal arbitral au regard en particulier de l'art. 89 de la loi fédérale du 18 mars 1994 sur l'assurance-maladie (LAMal; RS 832.10), soit d'une disposition dont le Tribunal fédéral vérifie d'office le respect (cf. <ref-law>). Il en va autrement en l'espèce, où les dispositions potentiellement violées relèvent du droit cantonal et du droit constitutionnel, dont le Tribunal de céans n'examine la violation qu'à la condition d'être saisi d'un grief dûment motivé (cf. consid. 1.1 ci-dessus).
Compte tenu des précédents mentionnés ci-dessus, la Cour de céans a procédé à un échange de vues au sens de l'<ref-law>, en invitant les cours du Tribunal fédéral à se prononcer sur le point suivant:
"Est-il exact que le Tribunal fédéral examine la régularité de la composition des instances précédentes, dans la mesure où celle-ci est régie par le droit cantonal, seulement si un grief est soulevé à cet égard?".
L'ensemble des cours ont répondu à cette question par l'affirmative.
En l'espèce, les recourants ayant expressément renoncé à se plaindre du fait que l'un des membres du Tribunal administratif de première instance ayant rendu l'arrêt du 3 octobre 2011 ne remplissait plus l'une des conditions d'éligibilité prévues par le droit cantonal, il n'y a ainsi pas lieu d'examiner les conséquences de ce vice, étant encore réaffirmé que celui-ci n'entraîne en tout état de cause pas la nullité du jugement en question.
2.
L'autorité précédente a rendu une seule décision valant pour les deux catégories d'impôts (IFD et ICC), ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher aux recourants d'avoir, dans leur recours au Tribunal fédéral, formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'IFD (2C_961/2012) et l'autre l'ICC (2C_960/2012). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
3.
3.1. L'arrêt attaqué concerne le revenu imposable de la période fiscale 2008. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'<ref-law>. L'<ref-law> confirme du reste l'existence de cette voie de droit pour l'IFD. S'agissant de l'ICC, l'imposition du revenu étant une matière harmonisée aux art. 7 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est aussi réservée par l'<ref-law> (cf. <ref-ruling> ss).
3.2. Pour le reste, déposé en temps utile (cf. <ref-law>) et dans les formes requises (cf. <ref-law>), le recours est dirigé contre une décision finale (cf. <ref-law>) rendue par un tribunal supérieur statuant en dernière instance cantonale (cf. art. 86 al. 1 let. d et al. 2 LTF). Il a en outre été interjeté par les contribuables destinataires de la décision attaquée, qui ont un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>). Il convient donc d'entrer en matière.
3.3. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral, ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la LHID. Selon l'<ref-law>, en revanche, le Tribunal fédéral n'examine la violation de dispositions de droit cantonal que si ces griefs ont été soulevés et motivés. Il en va de même lorsque les dispositions de la LHID laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (<ref-ruling> consid. 2 p. 209 s.).
I. Impôt fédéral direct
4.
L'<ref-law> a la teneur suivante:
"1 L'assujettissement fondé sur un rattachement personnel est illimité; il ne s'étend toutefois pas aux entreprises, aux établissements stables et aux immeubles situés à l'étranger.
2 [...]
3 L'étendue de l'assujettissement pour une entreprise, un établissement stable ou un immeuble est définie, dans les relations internationales, conformément aux règles du droit fédéral concernant l'interdiction de la double imposition intercantonale. Si une entreprise suisse compense, sur la base du droit interne, les pertes subies à l'étranger par un établissement stable avec des revenus obtenus en Suisse et que cet établissement stable enregistre des gains au cours des sept années qui suivent, il faut procéder à une révision de la taxation initiale, à concurrence du montant des gains compensés auprès de l'établissement stable; dans ce cas, la perte subie par l'établissement stable à l'étranger ne devra être prise en considération, a posteriori, que pour déterminer le taux de l'impôt en Suisse. Dans toutes les autres hypothèses, les pertes subies à l'étranger ne doivent être prises en considération en Suisse que lors de la détermination du taux de l'impôt. Les dispositions prévues dans les conventions visant à éviter la double imposition sont réservées.
4 [...]."
Selon la jurisprudence, l'art. 6 al. 3 3ème phrase LIFD, qui exclut que des pertes subies à l'étranger soient prises en considération dans le calcul de l'assiette imposable en Suisse, vaut notamment en relation avec des immeubles sis à l'étranger (arrêts 2A.409/1997 du 12 novembre 1999 consid. 2b, in NStP 24/2000 p. 19, avec renvoi à Peter Athanas, in Das neue Bundesrecht über die direkten Steuern, 1993, ch. 3.24 p. 433; 2A.36/2007 du 21 août 2007 consid. 2.2, in StE 2009 B 11.3 no 18). Il ne ressort toutefois pas explicitement de ces arrêts si cela vaut aussi pour un excédent d'intérêts passifs (le montant de ceux-ci dépassant le rendement net, après déduction des frais d'acquisition du revenu, notamment des frais d'entretien, de l'immeuble sis à l'étranger). La doctrine est partagée sur ce point.
Selon Locher, la notion de "pertes subies à l'étranger" de l'art. 6 al. 3 3ème phrase LIFD englobe tous les résultats négatifs réalisés à l'étranger autres que les pertes subies par un établissement stable d'une entreprise suisse, lesquelles sont envisagées par la 2ème phrase de l'<ref-law>. Cette notion inclut ainsi notamment un excédent d'intérêts passifs ( Peter Locher, Kommentar zum DBG, I. Teil, 2001, nos 14, 43 ad <ref-law>; du même avis: Jean-Blaise Paschoud, in Commentaire romand, Impôt fédéral direct, 2008, no 36 ad <ref-law>; Roger Cadosch, Bundesgesetz über die direkte Bundessteuer, Kommentar, 2008, no 3 ad <ref-law>). Un tel excédent n'est donc pris en considération que pour la détermination du taux d'imposition.
D'après Athanas/Giglio, en revanche, l'<ref-law> renvoie de manière générale aux règles concernant l'interdiction de la double imposition intercantonale. Il contient une réglementation particulière pour les pertes subies à l'étranger par un établissement stable d'une entreprise suisse, mais non pour un excédent d'intérêts passifs, situation qui doit donc selon ces auteurs être traitée conformément aux règles destinées à empêcher la double imposition intercantonale. D'après celles-ci, les intérêts passifs sont répartis proportionnellement à la valeur des actifs localisés entre les fors compétents pour imposer ceux-ci (méthode fractionnaire, alors que les frais d'acquisition du rendement immobilier, notamment les frais d'entretien, sont attribués au for du lieu de situation de l'immeuble, selon la méthode objective). Chaque quote-part d'intérêts passifs est déduite en priorité du rendement de fortune imposable au for considéré. Si ce rendement est insuffisant pour absorber la part d'intérêts attribuée à ce for, une deuxième répartition (proportionnelle) a lieu entre les fors où un rendement de fortune net subsiste et ainsi de suite. Transposé dans les relations internationales, cela signifie que si la part d'intérêts passifs attribuée au pays (étranger) du lieu de situation de l'immeuble est supérieure aux rendements de fortune imposables par celui-ci, l'excédent est déduit des revenus de même nature imposables par la Suisse comme pays du domicile fiscal principal. C'est seulement un éventuel excédent de frais d'acquisition du revenu - après la répartition des intérêts passifs effectuée comme indiqué ci-dessus - dans le pays du lieu de situation de l'immeuble qui constitue une perte subie à l'étranger, au sens de l'art. 6 al. 3 3e phrase LIFD, et qui ne peut être pris en considération dans le calcul de l'assiette imposable, mais seulement du taux d'imposition ( Peter Athanas/Giuseppe Giglio, in Kommentar zum Schweizerischen Steuerrecht I/2a, Bundesgesetz über die direkte Bundessteuer, Art. 1-82, 2e éd., 2008, nos 58-60 en relation avec les nos 83 et 95 ad <ref-law>; du même avis: Richner/Frei/Kaufmann/Meuter, Handkommentar zum DBG, 2e éd., 2009, no 64 ad <ref-law>).
5.
5.1. En l'occurrence, l'autorité précédente a confirmé le procédé de l'Administration cantonale genevoise. Après avoir fixé les intérêts passifs (qui se montaient au total à 199'860 fr., soit 159'360 fr. pour l'immeuble de D._ et 40'500 fr. pour celui de C._) déductibles en vertu de l'<ref-law> à 156'684 fr., l'Administration cantonale genevoise a réparti ce montant en fonction de la valeur des actifs bruts localisés, à raison de 63,49% pour le canton de Genève et de 36,51% pour la France. Les parts respectives étaient ainsi de 99'480 fr. pour le canton de Genève et de 57'204 fr. pour la France. Compte tenu d'un rendement net de l'immeuble français de 4'858 fr. (= rendement brut de 5'888 fr. ./. frais d'entretien de 1'030 fr.), l'excédent d'intérêts passifs était de 52'346 fr. (= 57'204 fr. ./. 4'858 fr.), soit le montant de la reprise litigieuse. Si cette somme n'avait pas été admise en déduction lors de la détermination du revenu imposable en Suisse (lequel se montait à 228'589 fr.), elle avait en revanche été prise en considération pour le calcul du taux d'imposition (à savoir 176'243 fr. = 228'589 fr. ./. 52'346 fr.).
5.2. En se référant au second courant doctrinal mentionné ci-dessus, les recourants soutiennent qu'un excédent d'intérêts passifs ne constitue pas une perte subie à l'étranger, au sens de l'art. 6 al. 3 3ème phrase LIFD. Dans certaines configurations (immeuble en Suisse fortement hypothéqué, immeuble à l'étranger franc de toute hypothèque), un excédent d'intérêts passifs à l'étranger s'explique uniquement par l'application de la méthode de répartition proportionnelle à la valeur des actifs localisés, sans que les intérêts passifs présentent aucun lien avec l'immeuble à l'étranger. Cela démontrerait qu'un tel excédent ne peut être qualifié de "perte subie à l'étranger", au sens de l'art. 6 al. 3 3ème phrase LIFD.
Selon les recourants, il convient d'appliquer les règles concernant l'interdiction de la double imposition intercantonale, auxquelles l'art. 6 al. 1 1ère phrase LIFD renvoie, en distinguant entre les frais d'acquisition du revenu immobilier (frais d'entretien notamment) et les intérêts passifs. Alors que les frais d'acquisition sont attribués de manière objective au for du lieu de situation de l'immeuble, les intérêts passifs sont répartis proportionnellement à la valeur des actifs localisés. Les recourants reprochent à l'autorité précédente d'avoir limité l'application des règles concernant l'interdiction de la double imposition intercantonale à la première répartition. En se référant à Daniel de Vries Reilingh (Le droit fiscal international et le droit fiscal intercantonal de la Suisse, 2011, p. 295 s.), ils font valoir qu'il y a lieu d'appliquer le système prévu par ces règles jusqu'au bout et de déduire ainsi, dans le cadre d'une seconde répartition, l'excédent d'intérêts passifs de 52'346 fr. des rendements de fortune imposables en Suisse.
5.3. L'auteur dont se prévalent les recourants est certes de l'avis qu'un excédent d'intérêts passifs - comme d'ailleurs de frais d'acquisition - à l'étranger doit pouvoir être déduit des revenus suisses. Il invoque à cet égard les principes d'égalité de traitement (et de non-discrimination) et d'imposition selon la capacité contributive, dont découle le principe de l'imposition du revenu global net. Mais cet auteur admet lui-même que son point de vue se heurte "au texte clair de l'<ref-law>, qui n'admet la prise en charge des pertes subies à l'étranger que de manière 'indirecte', c'est-à-dire pour fixer le taux d'imposition". Il se prononce ainsi de lege ferenda, en appelant de ses voeux une modification de l'art. 6 al. 3 3ème phrase LIFD (de Vries Reilingh, op. cit., nos 706 ss [avec renvoi à Robert Hans Senn, Die Liegenschaft des Privatvermögens im interkantonalen und internationalen Steuerrecht, 1985, p. 109 s.], en part. no 708). De lege lata, les recourants ne peuvent donc rien tirer à leur profit de cette opinion doctrinale.
Quant à l'interprétation qu'Athanas/Giglio font de l'<ref-law>, elle perd de vue le texte et la systématique de cette disposition. Après un renvoi, s'agissant de l'étendue de l'assujettissement, aux règles du droit fédéral concernant l'interdiction de la double imposition intercantonale (1ère phrase), la 2ème phrase traite des pertes subies à l'étranger par un établissement stable d'une entreprise suisse, alors que la 3ème phrase envisage "toutes les autres hypothèses". La 3ème phrase doit être mise en relation avec la 2ème, ce d'autant que toutes deux ne figuraient pas dans le projet du Conseil fédéral, mais ont été ajoutées lors des débats parlementaires. La 3ème phrase limite la portée de la 2ème, en faisant écho à l'art. 6 al. 1 2ème phrase LIFD: du moment que l'assujettissement fondé sur un rattachement personnel en Suisse ne s'étend pas aux rendements (positifs) des entreprises, des établissements stables et des immeubles situés à l'étranger, il est cohérent que les résultats négatifs ne puissent - sous réserve des pertes des établissements stables (art. 6 al. 3 2ème phrase LIFD) - être déduits lors de la détermination de l'assiette imposable en Suisse, même si cela déroge au principe de l'imposition du revenu global net. Compte tenu de sa formulation très générale "[d]ans toutes les autres hypothèses [...]", la 3ème phrase doit s'appliquer aussi aux excédents d'intérêts passifs.
Au vu de ce qui précède, l'autorité précédente n'a pas violé l'<ref-law> en refusant de déduire des revenus imposables en Suisse l'excédent des intérêts passifs attribués à la France. Le recours doit être rejeté sur ce point.
6.
Les recourants font valoir qu'en excluant la déduction des pertes étrangères de l'assiette imposable en Suisse, l'art. 6 al. 3 3ème phrase LIFD viole le principe de la libre circulation des personnes et est contraire à la jurisprudence de la Cour de justice de l'Union européenne (ci-après: la Cour de justice). Ils invoquent à cet égard les arrêts du 14 février 1995 C-279/93 Schumacker (Rec. 1995 I-00225), du 21 février 2006 C-152/03 Ritter-Coulais (Rec. 2006 I-01711), du 18 juillet 2007 C-182/06 Lakebrink (Rec. 2007 I-06705), du 16 octobre 2008 C-527/06 Renneberg (Rec. 2008 I-07735), ainsi que deux arrêts du 11 septembre 2007 C-76/05 Epoux Schwarz (Rec. 2007 I-06849) et C-318/05 Commission contre Allemagne (Rec. 2007 I-06957). De leur point de vue, la jurisprudence postérieure à la date de la signature de l'ALCP doit aussi être prise en considération, dans la mesure où elle précise la notion de discrimination indirecte déjà prohibée dans les arrêts antérieurs. Cette jurisprudence imposerait selon eux à la Suisse de prendre en considération les intérêts passifs excédentaires non seulement pour déterminer le taux d'imposition, mais aussi lors du calcul de la base imposable.
7.
Les arrêts dont se prévalent les recourants ont en commun de concerner des avantages fiscaux (cf. Christine Kaddous/Diane Grisel, Libre circulation des personnes et des services, 2012, p. 296 s., notes de bas de page 447, 450, 451 et 453). Alors que certains de ces arrêts ont trait à l'interdiction des discriminations entre contribuables résidents et non résidents en matière de fiscalité directe (ci-après consid. 7.1), d'autres se rapportent à des mesures fiscales indistinctement applicables, mais néanmoins susceptibles d'entraver la libre circulation (consid. 7.2).
7.1.
7.1.1. Le Tribunal de céans a exposé, en lien avec le principe de non-discrimination de l'<ref-law>, ainsi que des art. 9 al. 2 et 15 al. 2 annexe I ALCP, la jurisprudence communautaire en matière de fiscalité directe dans l'<ref-ruling>.
Cette jurisprudence constitue un cas d'application des règles générales d'égalité de traitement qui prohibent non seulement les discriminations ostensibles fondées sur la nationalité (discriminations directes), mais encore toutes formes dissimulées de discrimination qui, par application d'autres critères de distinction, aboutissent en fait au même résultat (discriminations indirectes). Dans le domaine de la fiscalité directe, qui relève de leur compétence, les Etats membres doivent ainsi s'abstenir de toute discrimination ostensible ou déguisée fondée sur la nationalité (<ref-ruling> consid. 13.1 p. 249 s. et les références, not. à l'arrêt Schumacker; cf. aussi Kaddous/Grisel, op. cit., p. 292 ss).
De manière générale, la situation des résidents et celle des non-résidents dans un État n'est pas comparable: le revenu perçu sur le territoire d'un État par un non-résident ne constitue le plus souvent qu'une partie de son revenu global, centralisé au lieu de sa résidence, et sa capacité contributive personnelle tenant compte de l'ensemble de ses revenus et de sa situation personnelle et familiale peut s'apprécier le plus aisément à l'endroit où il a le centre de ses intérêts personnels et patrimoniaux, qui correspond en général à sa résidence habituelle. Par conséquent, le fait pour un État membre de ne pas faire bénéficier un non-résident de certains avantages fiscaux qu'il accorde au résident n'est, en règle générale, pas discriminatoire, compte tenu des différences objectives entre la situation des résidents et celle des non-résidents. Il peut en revanche y avoir discrimination entre résidents et non-résidents si, nonobstant leur résidence dans des États membres différents, il est établi que, au regard de l'objet et du contenu des dispositions nationales en cause, les deux catégories de contribuables se trouvent dans une situation comparable (<ref-ruling> consid. 13.2 et 13.3 p. 250 et les références, not. à l'arrêt Schumacker; cf. aussi Kaddous/Grisel, op. cit., p. 297 ss). Tel est le cas notamment lorsque, comme dans l'affaire Schumacker, le non-résident tire l'essentiel de ses ressources imposables d'une activité exercée dans l'État d'emploi (pour désigner cette configuration, la doctrine parle de "situations Schumacker": Kaddous/Grisel, op. cit., p. 430). Le fait que l'Etat d'emploi traitent ces contribuables non-résidents différemment de personnes résidentes constitue alors une discrimination contraire à la libre circulation des travailleurs et à la liberté d'établissement (cf. Kaddous/Grisel, op. cit., p. 297 ss, 429 ss).
Les arrêts Ritter-Coulais, Lakebrinket Renneberg, précités, concer-nent des contribuables qui résidaient dans un Etat membre, où ils étaient propriétaires immobiliers, et travaillaient dans un autre Etat membre. Dans ces affaires, les contribuables avaient été traités différemment par l'Etat d'emploi, s'agissant de la prise en compte de rendements immobiliers négatifs, que ne l'auraient été des personnes résidentes. La Cour de justice a vu dans ce traitement différencié des non-résidents par rapport aux résidents une discrimination contraire à la libre circulation des travailleurs. Les deux derniers arrêts cités se réfèrent d'ailleurs à l'affaire Schumacker (cf. arrêts Lakebrink, pts 30 s. et Renneberg, pts 61 ss; au sujet de ce dernier, cf. Kaddous/Grisel, op. cit., p. 300).
7.1.2. En l'occurrence, les recourants ne se trouvent pas dans la situation de contribuables qui, exerçant leur activité lucrative dans un autre Etat que celui de leur résidence, seraient traités différemment - et en cela discriminés - par ce dernier Etat. Ils ont en effet leur domicile fiscal en Suisse, pays dans lequel l'activité lucrative est aussi exercée. Ils ne sauraient par conséquent se prévaloir de la jurisprudence exposée ci-dessus, qui concerne le statut fiscal des non-résidents.
7.2.
7.2.1. Quant aux deux arrêts du 11 septembre 2007, ils concernent une réglementation allemande permettant, à diverses conditions, aux contribuables résidents de déduire de l'assiette imposable certains frais d'écolage dans des établissements privés allemands, à l'exclusion de ceux encourus dans des écoles privées d'un autre Etat mem-bre. Cette réglementation a été jugée contraire à la libre prestation des services (d'enseignement), ainsi qu'à la liberté de circuler sur le territoire des Etats membres - droit dont les enfants font usage en se rendant dans un autre Etat membre pour y suivre un enseignement scolaire -, telle que conférée à tout citoyen de l'Union européenne (cf. affaire Epoux Schwarz, pts 67 et 90 ss; affaire Commission contre Allemagne, pts 81 et 129 ss). Même si elle s'appliquait indépendamment de la nationalité des travailleurs, elle constituait une entrave à la libre circulation des personnes. Elle désavantageait en effet les travailleurs qui avaient transféré leur domicile en Allemagne ou qui y travaillaient et dont les enfants continuaient à fréquenter une école payante située dans un autre Etat membre. Elle était en outre susceptible de placer les ressortissants nationaux dans une position désavantageuse lorsque ceux-ci transféraient leur domicile dans un autre Etat membre (voir affaire Commission contre Allemagne, pts 115 ss). La Cour de justice a ainsi considéré que le régime en question représentait une entrave à l'entrée (dans un Etat membre) et à la sortie, en limitant l'accès au marché du travail (Kaddous/Grisel, op. cit., p. 266 s.; cf. aussi Véronique Boillet, L'interdiction de discrimination en raison de la nationalité au sens de l'Accord sur la libre circulation des personnes, 2010, p. 83, note de bas de page 404).
7.2.2. La notion de discrimination au sens de la jurisprudence communautaire a en effet évolué et comprend, à côté des discriminations directes et indirectes, les restrictions indistinctement applicables de la libre circulation (ou entraves à la libre circulation). Ces dernières sont définies comme des mesures qui, applicables sans aucune distinction sur la base de la nationalité, sont susceptibles de gêner ou de rendre moins attrayant l'exercice, par les ressortissants des Etats membres, des libertés fondamentales garanties par le traité (Kaddous/Grisel, op. cit., p. 251; Boillet, op. cit., p. 82 s.). Dans le domaine de la fiscalité, ces entraves consistent notamment en des restrictions à la sortie d'un Etat membre (voir Kaddous/Grisel, op. cit., p. 302 ss et la jurisprudence citée) ou, comme dans l'affaire Commission contre Allemagne, à l'entrée et à la sortie (Kaddous/Grisel, op. cit., p. 266 s.). Il n'est du reste pas toujours aisé de distinguer entre les restrictions indistinctement applicables - et, partant, non discriminatoires - de la libre circulation et les mesures indirectement discriminatoires (Boillet, op. cit., p. 84), ce d'autant que la jurisprudence communautaire manque parfois de constance sur ce point (cf. Boillet, loc. cit., note de bas de page 408 à propos de l'arrêt Renneberg ). Au demeurant, la jurisprudence de la Cour de justice considère les restrictions indistinctement applicables comme compatibles avec le traité lorsqu'elles remplissent quatre conditions: elles doivent s'appliquer de manière non discriminatoire, se justifier par des raisons impérieuses d'intérêt général, être propres à garantir la réalisation de l'objectif qu'elles poursuivent et ne pas aller au-delà de ce qui est nécessaire pour l'atteindre (Boillet, op. cit., p. 83; Julian Maier, Die steuerlichen Implikationen der Mobilitäts-garantien des Freizügigkeitsabkommens Schweiz-EU, 2013, p. 189 et les références). En outre, de telles mesures ne constituent pas des entraves si elles n'ont pas pour objet de conditionner l'accès au marché du travail (Boillet, op. cit., p. 83 note de bas de page 405 et la jurisprudence citée).
En relation avec l'ALCP, la question est de savoir si les restrictions indistinctement applicables de la libre circulation tombent sous le coup de l'interdiction des discriminations au sens de l'<ref-law> et sont prohibées par cette disposition. Dans un arrêt du 27 mars 2006, le Tribunal de céans a soulevé ce point, sans le trancher (affaire K163/03, consid. 6.3, non pub. aux <ref-ruling>). La doctrine est partagée, mais considère plutôt que les restrictions indistinctement applicables sont prohibées dans le domaine couvert par l'interdiction des discriminations de l'ALCP (cf. les auteurs cités par Kaddous/Grisel, op. cit., p. 880 note de bas de page 123; Boillet, op. cit., p. 91 et les références en note de bas de page 442; Maier, op. cit., p. 166 ss).
7.2.3. En l'occurrence, il ne s'agit pas de la libre prestation de services (sans compter que la libéralisation partielle des prestations de services prévue par l'ALCP doit être distinguée de la situation prévalant dans le marché intérieur de l'Union européenne: <ref-ruling> consid. 4.3 p. 631 ss). Quant à la liberté de circuler sur le territoire des Etats membres en tant qu'elle découle du statut de citoyen de l'Union, le Tribunal fédéral n'a en principe pas à prendre en compte les arrêts qui s'y rapportent (cf. <ref-ruling> consid. 4.1.2 et références). Sous l'angle de la libre circulation, finalement, l'art. 6 al. 1 et 3 LIFD n'a nullement pour objet de conditionner l'accès au marché du travail. Il s'agit d'une réglementation qui limite la compétence de la Suisse d'imposer, dans le cadre d'un assujettissement illimité, le rendement d'immeubles situés à l'étranger. Corrélativement, ces règles empêchent de déduire un excédent d'intérêts passifs de l'assiette de l'impôt dû en Suisse. On ne saurait voir là une entrave à la libre circulation des personnes, en ce sens que des contribuables établis dans un pays de l'Union européenne où ils possèdent une résidence secondaire seraient dissuadés de venir s'établir en Suisse du fait que cela les priverait de la possibilité de déduire de leurs revenus un éventuel rendement négatif de cet immeuble. La réglementation en cause est en effet à l'avantage des contribuables, lorsque le rendement immobilier est positif: dans ce cas, le revenu de l'immeuble sis à l'étranger n'est pas ajouté aux autres revenus imposables en Suisse, ce qui est plus favorable en raison de la progressivité de l'impôt. Le régime en question ne constitue donc pas une entrave à la libre circulation et il n'est ainsi pas nécessaire de trancher le point de savoir si de telles restrictions sont de manière générale prohibées par l'ALCP. Sous l'angle du droit européen, on pourrait tout au plus se demander si les règles en cause sont compatibles avec la libre circulation des capitaux (s'agissant de la location d'un immeuble, cf. de même Maier, op. cit., p. 316), mais la question n'a pas à être examinée en relation avec l'ALCP, qui n'a pas pour objectif de garantir cette liberté (cf. <ref-law> a contrario ).
Les deux arrêts dont les recourants se prévalent ne leur sont ainsi d'aucune aide.
S'agissant de l'IFD, le recours doit donc être rejeté aussi en tant que les recourants se fondent sur l'ALCP et la jurisprudence de la Cour de justice.
II. Impôt cantonal et communal
8.
La LHID traite de l'assujettissement à raison du rattachement personnel à son art. 3. A la différence de la LIFD (cf. <ref-law> et ci-dessus consid. 4 et 5), elle ne contient pas de disposition relative à l'étendue de cet assujettissement. Elle ne règle pas, en particulier, la question de savoir si les pertes subies à l'étranger peuvent être déduites de l'assiette de l'impôt. Ce silence ne saurait certes, à lui seul, être compris comme conférant une marge d'autonomie aux cantons, en tout cas lorsqu'il porte sur un point relevant d'un aspect dont l'harmonisation est expressément prévue par la Constitution fédérale (cf. <ref-ruling> consid. 4.1 p. 70 s.; arrêt 2C_620/2012 du 14 février 2013 consid. 3.3, in RDAF 2013 II p. 197). La question de savoir si les cantons ont une certaine autonomie à cet égard (dans ce sens apparemment: Maja Bauer-Balmelli/Markus Nyffenegger, in Kommentar zum Schweizerischen Steuerrecht I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, 2e éd., 2002, nos 21, 33 ad <ref-law>) n'a pas à être tranchée définitivement en l'occurrence. En effet, à l'instar de la plupart des cantons suisses (cf. Bauer-Balmelli/Nyffenegger, op. cit., no 33 ad <ref-law>), le canton de Genève a repris les règles de l'<ref-law> à l'art. 5 de son ancienne loi du 22 septembre 2000 sur l'imposition des personnes physiques - objet de l'impôt - assujettissement à l'impôt (LIPP-I; en vigueur jusqu'au 31 décembre 2009), encore applicable en l'espèce. Si cette reprise s'est faite dans le cadre de la marge d'autonomie laissée par la LHID et qu'il s'agit de droit cantonal autonome, dont le Tribunal de céans revoit l'application conformément à l'<ref-law> (cf. consid. 3.3 ci-dessus), il appartient au recourant d'exposer précisément en quoi la mauvaise application des dispositions cantonales constitue une violation du droit fédéral - y compris le droit international -, en particulier de l'interdiction de l'arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.2 p. 69). Or, les recourants se limitent en l'occurrence à faire valoir "que l'art. 5 al. 4 LIPP-I reprend les mêmes principes que ceux énoncés par l'<ref-law> de sorte qu'il n'y a pas lieu de traiter la question de manière différente pour l'impôt cantonal et communal". En tant qu'ils se réfèrent par là à l'ALCP et à la jurisprudence de la Cour de justice, il peut être renvoyé au consid. 7 ci-dessus, le recours étant mal fondé. Pour le reste, les recourants n'exposent pas en quoi l'art. 5 al. 4 LIPP-I aurait été appliqué de manière arbitraire, de sorte que le recours est dans cette mesure irrecevable.
Si, en revanche, l'art. 5 LIPP-I constitue du droit cantonal harmonisé, dont le Tribunal de céans revoit librement l'application (cf. consid. 3.3 ci-dessus), il y a lieu, en vue d'une harmonisation verticale (voir à ce sujet <ref-ruling> consid. 5.2 p. 71 ss; arrêt 2C_620/2012 précité, consid. 3.3), d'interpréter cette disposition de la même manière que l'<ref-law>, dont elle reprend la teneur. Les recourants eux-mêmes semblent partir de cette idée, lorsqu'ils considèrent que la question doit être traitée de la même manière pour l'ICC que pour l'IFD. Dans cette hypothèse, il est possible de se référer entièrement à la motivation développée ci-dessus (consid. 4 et 5) en relation avec l'<ref-law> et de rejeter le recours pour les mêmes motifs.
9.
Vu ce qui précède, le recours doit être rejeté, dans la mesure de sa recevabilité.
Succombant, les recourants doivent supporter un émolument judiciaire, solidairement entre eux (cf. art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer de dépens (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Les causes 2C_960/2012 et 2C_961/2012 sont jointes.
2.
Le recours est rejeté en ce qui concerne l'IFD (cause 2C_961/2012).
3.
Le recours est rejeté dans la mesure où il est recevable en ce qui concerne l'ICC (cause 2C_960/2012).
4.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
5.
Le présent arrêt est communiqué aux mandataires des recourants, à l'Administration fiscale cantonale et à la Cour de justice du canton de Genève, Chambre administrative, 2ème section, ainsi qu'à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre.
Lausanne, le 23 janvier 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin