Faits :
A.
B.A._ et A.A._ sont domiciliés à Londres. Ils sont copropriétaires, chacun pour une demie, de la quote-part 125/1000 de la parcelle n° xxx de la Commune de X._, dans le canton de Vaud. Il ressort du dossier (<ref-law>) que leur immeuble, dont la valeur fiscale déterminante a été arrêtée à 776'000 fr., leur a rapporté 81'600 fr. de revenus locatifs en 2008. Ils sont en outre également propriétaires d'un bien-fond en Espagne, d'une valeur de 105'000 fr., et bénéficiaires de titres et créances pour un montant de 1'710'153 fr.
Le 15 mars 2010, l'Office d'impôt du district de Nyon a rendu une décision de taxation pour la période fiscale 2008. Après avoir procédé à une répartition proportionnelle des intérêts passifs en fonction de la situation des actifs (selon le dossier, les intérêts passifs sont constitués exclusivement d'intérêts hypothécaires d'un montant total de 35'707 fr. grevant l'immeuble en Suisse et leur répartition s'est effectuée selon la clé de répartition suivante: 27.23% pour la Suisse et 72.77% pour l'étranger; <ref-law>), il a fixé le revenu imposable à 55'100 fr. au taux de 485'200 fr. pour les impôts cantonal et communal (ci-après: ICC) et le revenu imposable à 63'300 fr. au taux de 882'000 fr. pour l'impôt fédéral direct (ci-après: IFD). Il a notamment constaté un revenu net de la fortune de -72 fr. et attribué un montant de 25'984 fr. d'intérêts passifs à l'étranger. Le 15 avril 2010, B.A._ et A.A._ ont contesté cette décision en formant une réclamation auprès de l'Administration cantonale des impôts du canton de Vaud (ci-après: Administration cantonale des impôts). Ils ont en particulier contesté la répartition internationale des intérêts hypothécaires. Le 9 octobre 2012, l'Administration cantonale des impôts a rejeté la réclamation.
Les époux A._ ont recouru contre ce prononcé le 9 novembre 2012 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal).
B.
Par arrêt du 15 novembre 2013, le Tribunal cantonal a rejeté le recours des intéressés. Les juges cantonaux ont considéré que, dans le cas d'un immeuble sis en Suisse de contribuables domiciliés à l'étranger, il convenait de procéder à une répartition proportionnelle des intérêts passifs. Ils ont toutefois relevé qu'aucune perte étrangère ne pouvait être déduite du revenu réalisé en Suisse. Le Tribunal cantonal a pour le surplus constaté que cette pratique ne violait pas le principe de l'égalité de traitement et n'était pas arbitraire.
C.
Agissant par la voie du recours en matière de droit public, les contribuables demandent en substance au Tribunal fédéral, sous suite de frais et dépens, principalement de réformer les taxations fiscales en matière d'IFD et d'ICC pour l'année 2008, subsidiairement de renvoyer la cause à l'instance précédente pour nouvelle décision au sens des considérants. Ils invoquent une violation de l'art. 6 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et de l'art. 6 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSV 642.11) ainsi qu'une violation du principe de l'égalité de traitement, de l'interdiction de l'arbitraire et de la protection de la bonne foi, du principe de la légalité de l'impôt et du principe de l'imposition selon la capacité contributive.
L'autorité précédente se réfère à son arrêt. L'Administration cantonale des impôts et l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, concluent au rejet du recours.

Considérant en droit :
1.
En matière d'impôts directs, les tribunaux cantonaux doivent en principe rendre deux décisions, qui peuvent toutefois figurer dans un seul acte, l'une pour l'impôt fédéral direct et l'autre pour les impôts cantonal et communal. Ils doivent exposer des motivations séparées et des dispositifs distincts ou du moins un dispositif distinguant expressément les deux impôts (<ref-ruling> consid. 1.3.1 p. 262). Nonobstant l'absence de dispositif distinct, l'arrêt attaqué respecte cette exigence de forme dès lors qu'il motive de manière séparée le rejet du recours cantonal pour les deux catégories d'impôts. Dans ces circonstances, on ne peut reprocher aux recourants d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans leur recours devant le Tribunal fédéral (cf. <ref-ruling> consid. 1.3.3 p. 264). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'ICC (2C_1201/2013), l'autre l'IFD (2C_1202/2013). Comme l'état de fait et les griefs qu'invoquent les recourants sont identiques, les causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
2.
2.1. L'arrêt attaqué concerne le revenu imposable de la période fiscale 2008. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'<ref-law>. L'<ref-law> confirme du reste l'existence de cette voie de droit pour l'IFD. S'agissant de l'ICC, l'imposition du revenu étant une matière harmonisée aux art. 7 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est aussi réservée par l'<ref-law> (cf. <ref-ruling> ss).
2.2. Pour le reste, déposé en temps utile (cf. <ref-law>) et dans les formes requises (cf. <ref-law>), le recours est dirigé contre une décision finale (cf. <ref-law>) rendue par un tribunal supérieur statuant en dernière instance cantonale (cf. art. 86 al. 1 let. d et al. 2 LTF). Il a en outre été interjeté par les contribuables destinataires de la décision attaquée, qui ont un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>). Il convient donc d'entrer en matière, sous réserve de ce qui suit.
2.3. Les conclusions principales des recourants ont un caractère réformatoire. Le Tribunal fédéral a jugé que de telles conclusions étaient recevables également en ce qui concerne le droit cantonal harmonisé, car l'<ref-law>, qui prévoit qu'en cas d'acceptation du recours, le Tribunal fédéral annule la décision attaquée et renvoie l'affaire pour nouvelle décision à l'autorité inférieure, doit céder le pas devant l'<ref-law> qui confère au Tribunal fédéral un pouvoir général de réforme quel que soit le recours interjeté devant lui (<ref-ruling> consid. 1 p. 209; arrêt 2C_291/2013 du 26 novembre 2013 consid. 2.4, non publié in <ref-ruling>).
2.4. Les conclusions et griefs dirigés contre des décisions émanant d'autres instances que l'arrêt attaqué sont irrecevables en raison de l'effet dévolutif du recours auprès du Tribunal cantonal et de l'exigence d'épuisement des instances cantonales (cf. art. 86 al. 1 let. d LTF). Ainsi, les griefs de violation de l'égalité de traitement, d'interdiction de traitement discriminatoire, d'interdiction de l'arbitraire, de protection de la bonne foi et de violation du principe de la légalité, en ce qu'ils sont dirigés contre la décision de l'Administration cantonale des impôts, sont irrecevables (cf. arrêt 2C_449/2013 du 21 février 2014 consid. 1.3 et les arrêts cités).
3.
D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral, ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la LHID. Selon l'<ref-law>, en revanche, le Tribunal fédéral n'examine la violation de dispositions de droit cantonal que si ces griefs ont été soulevés et motivés. Il en va de même lorsque les dispositions de la LHID laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (<ref-ruling> consid. 2 p. 209 s.).
4.
Les recourants estiment en substance qu'en cas d'assujettissement limité en Suisse, les intérêts passifs (en l'occurrence les intérêts hypothécaires sur leur immeuble en Suisse) doivent être répartis proportionnellement à la situation des actifs. Un solde de pertes sur le revenu de la fortune à l'étranger doit, selon eux, être pris en considération dans le calcul du revenu imposable en Suisse, aussi bien pour l'assiette que pour le taux de l'impôt. A titre subsidiaire, ils demandent une répartition objective des intérêts passifs précités.
Est ainsi litigieuse en l'espèce, la question de la répartition sur le plan international des intérêts passifs, dès lors que les contribuables sont domiciliés au Royaume-Uni et ne sont imposés en Suisse qu'en lien avec leur immeuble situé dans le canton de Vaud. Or, les autorités cantonales ont refusé de prendre en compte, pour la détermination du revenu imposable en Suisse, les intérêts passifs de 25'984 fr. attribués à l'étranger, malgré un solde négatif de revenu de la fortune (-71 fr.).
I. Impôt fédéral direct
5.
5.1. Les conventions internationales en matière de double imposition ne contiennent que des règles visant à limiter les pouvoirs d'imposition des Etats mais ne fondent pas l'imposition elle-même (<ref-ruling> consid. 3 in fine p. 366 et les références citées). Par conséquent, il convient d'abord de s'assurer de l'existence d'un droit (interne) d'imposition, puis, le cas échéant, de vérifier que ce droit d'imposition n'est pas limité par une disposition conventionnelle visant à restreindre ou éliminer une éventuelle double imposition internationale (arrêt 2C_436/2011 du 13 décembre 2011 consid. 2.1; cf. Xavier Oberson, Précis de droit fiscal international, 3e éd. 2009, n° 119 et 120, p. 43).
5.2. L'art. 4 al. 1 let. c LIFD dispose que les personnes physiques qui, au regard du droit fiscal, ne sont ni domiciliées ni en séjour en Suisse sont assujetties à l'impôt à raison du rattachement économique lorsqu'elles sont propriétaires d'un immeuble sis en Suisse. Un rattachement économique entraîne une imposition limitée.
En effet, selon la LIFD, en cas de rattachement économique, l'obligation fiscale ne s'étend qu'à la partie du revenu qui est définie conformément aux art. 4 et 5 LIFD. Ne sont ainsi concernées que les valeurs patrimoniales soumises à la souveraineté suisse (arrêts 2C_18/2014 du 15 janvier 2015 consid. 2.2.2; 2A.480/2001 du 29 juillet 2002 consid. 3.2, in StE 2003 B 11.3 n° 13; <ref-ruling> consid. 1b p. 252). Dans un tel cas de figure, la répartition de ces valeurs intervient en fonction de la méthode objective (Richner/Frei/Kaufmann/Meuter, Handkommentar zum DBG, 2e éd. 2009, n° 20 ad <ref-law>; Peter Locher, Kommentar zum DBG, I. Teil, 2001, n° 26 ad <ref-law>). En revanche, selon une pratique constante, les intérêts passifs sont répartis de manière proportionnelle en fonction des actifs localisés, qu'ils soient privés ou commerciaux (<ref-ruling> consid. 7.6.3 p. 165 ss; <ref-ruling> consid. 3 p. 21; <ref-ruling> consid. 4 p. 353 s.; arrêts 2A.36/2007 du 21 août 2007 consid. 3.1 [international], in StE 2009 B 11.3 n°18; 2P.49/1991 du 30 septembre 1992 consid. 4 [intercantonal], in StE 1994 A 24.42.5 n° 2; Peter Locher, op. cit., n° 26 ad <ref-law>). Ce mode de répartition intervient parce que les dettes hypothécaires grevant un immeuble ne se trouvent pas dans une relation à ce point étroite avec celui-ci qu'elles devraient être entièrement et exclusivement déduites de la valeur de l'objet grevé (ATF 62 I 91 consid. 2a p. 98; arrêt 2P.308/1995 du 20 juin 1996 consid. 2b/bb, in RF 1997/52 p. 515). Un emprunt hypothécaire peut tendre en effet à d'autres fins qu'au financement de l'immeuble grevé. Les conditions du marché des capitaux peuvent guider les décisions du contribuable relatives à la répartition des dettes ainsi qu'à l'affectation des revenus immobiliers. Lorsque les taux hypothécaires sont modérés, le contribuable sera enclin à grever son patrimoine immobilier et à placer les fonds ainsi empruntés sur d'autres valeurs.
La loi fixe cependant deux limites minimales en relation avec cette répartition: au moins le revenu acquis en Suisse doit être imposé (art. 6 al. 2 2e phrase LIFD) et l'imposition n'a lieu qu'à un taux correspondant au moins à ce revenu (<ref-law>).
6.
6.1. En l'occurrence, il n'est pas contesté que le domicile fiscal principal des recourants est en Grande-Bretagne et que ceux-ci ont un domicile fiscal spécial en Suisse, dans le canton de Vaud (cf. à ce propos arrêts 2C_18/2014 précité consid. 4.2.1 et les références citées). Il appartient donc à la Suisse, respectivement au canton de Vaud, de taxer le revenu provenant de l'immeuble en tant que valeur patrimoniale soumise à la souveraineté fiscale suisse.
6.2. En application des règles de répartition précitées, les dettes et les intérêts passifs doivent être répartis en fonction de la situation des actifs, que ceux-ci soient de nature privée ou commerciale. C'est donc à juste titre que le Tribunal cantonal a confirmé la répartition proportionnelle, en fonction des actifs localisés, qu'a effectuée l'Administration cantonale des impôts. Le fait que les recourants aient une dette hypothécaire uniquement sur leur immeuble en Suisse et que les intérêts passifs soient attribués en grande majorité à l'étranger, en raison de la valeur élevée des actifs qui s'y trouvent, n'y change rien. Le revenu ainsi déterminé, en application des art. 6 al. 2 2e phrase et 7 al. 2 LIFD, constitue l'assiette et le taux minimum imposables en Suisse. Par conséquent, un éventuel excédent d'intérêts passifs provenant de l'étranger qui réduirait le revenu à un montant inférieur à celui du revenu acquis en Suisse ne doit pas être pris en compte. Cette solution correspond à la jurisprudence récente du Tribunal fédéral relative à une situation inverse, c'est-à-dire à l'assujettissement illimité de contribuables propriétaires d'un immeuble à l'étranger (cf. <ref-ruling> consid. 7.6.3 p. 165 ss). Dans cet arrêt, le Tribunal fédéral a en effet jugé que la solution tirée de la jurisprudence en matière d'interdiction de la double imposition intercantonale ne s'appliquait pas en tant que telle aux cas de répartition internationale, notamment en ce que celle-ci concernait la répartition de l'éventuel excédent d'intérêts passifs.
Il faut encore relever que contrairement à l'avis des recourants et de l'instance précédente, il n'est pas nécessaire, pour déterminer le revenu acquis en Suisse, d'appliquer l'<ref-law>. Les art. 6 al. 2 et 7 al. 2 LIFD suffisent.
6.3. Quant à la conclusion subsidiaire des recourants, tendant à l'application d'une répartition objective des intérêts passifs, il ne peut être que renvoyé aux développements qui précèdent (cf. consid. 5.2). De jurisprudence constante, c'est la méthode de répartition proportionnelle qui s'applique aux intérêts passifs et rien ne justifie en l'espèce d'y déroger.
7.
Enfin, les recourants se plaignent en substance de ce que l'art. 127 al. 2 Cst. serait violé. Ils perdent cependant de vue que l'art. 190 Cst. oblige le Tribunal fédéral et les autres autorités à appliquer les lois fédérales, soit en l'occurrence l'<ref-law>. Certes, dans certains cas, le Tribunal fédéral peut contrôler la conformité de ces lois au droit supérieur (cf. <ref-ruling> consid. 3.1 p. 55 et les références citées; cf. également arrêt 2C_585/2012 du 6 mars 2014 consid. 4, non publié in <ref-ruling> qui concerne l'art. 6 al. 3 3e phr. LIFD). Cependant, s'agissant en particulier de l'<ref-law>, il faut admettre qu'il n'existe aucun motif qui justifie un tel contrôle (cf. à ce propos consid. 11 ci-dessous).
8.
Le droit international n'apporte pas d'autre solution. En effet, l'art. 6 par. 1 de la Convention du 8 décembre 1977 entre la Confédération suisse et le Royaume-Uni de Grande-Bretagne et d'Irlande du Nord en vue d'éviter les doubles impositions en matière d'impôts sur le revenu (RS 0.672.936.712; ci-après: CDI-RU), qui dispose que les revenus qu'un résident d'un Etat contractant tire de biens immobiliers (y compris les revenus des exploitations agricoles ou forestières) situés dans l'autre Etat contractant, sont imposables dans cet autre Etat, ne limite ni n'exclut le droit de la Suisse à imposer les revenus d'un immeuble de contribuables domiciliés au Royaume-Uni situé sur son territoire.
9.
Le recours est ainsi entièrement rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct.
II. Impôts cantonal et communal
10.
La LHID traite de l'assujettissement à raison du rattachement personnel à son art. 3. A la différence de la LIFD, elle ne contient pas de disposition relative à l'étendue de cet assujettissement. Elle ne règle pas, en particulier, la question de savoir si les pertes subies à l'étranger peuvent être déduites de l'assiette de l'impôt. Ce silence ne saurait certes, à lui seul, être compris comme conférant une marge d'autonomie aux cantons, en tout cas lorsqu'il porte sur un point relevant d'un aspect dont l'harmonisation est expressément prévue par la Constitution fédérale (art. 129 al. 2 Cst.; cf. <ref-ruling> consid. 4.1 p. 70 s.; arrêt 2C_620/2012 du 14 février 2013 consid. 3.3, in RDAF 2013 II p. 197). Comme le Tribunal fédéral l'a relevé dans une affaire récente, la question de savoir si les cantons ont une certaine autonomie à cet égard n'a pas à être tranchée définitivement en l'occurrence (<ref-ruling> consid. 8 p. 155 ss et les références citées). En effet, à l'instar de la plupart des cantons suisses, le canton de Vaud a repris les règles de l'<ref-law> à l'art. 6 LI/VD.
Ainsi, selon la jurisprudence récente précitée, s'il faut reconnaître une marge d'autonomie aux cantons dans ce domaine, alors le recours, sur ce point, faute de motivation suffisante exposant en quoi l'art. 6 LI/VD aurait été appliqué de manière arbitraire (<ref-law>, cf. consid. 3 ci-dessus), doit être déclaré irrecevable. Si, au contraire, l'art. 6 LI/VD constitue du droit cantonal harmonisé, il y a lieu, en vue d'une harmonisation verticale, d'interpréter cette disposition de la même manière que l'<ref-law>, dont elle reprend la teneur, et de rejeter le recours sur ce point (cf. consid. 5 à 7 ci-dessus).
11.
Les recourants se plaignent encore de ce que l'art. 6 LI/VD serait contraire à l'art. 127 al. 2 Cst.
11.1. En vertu de l'art. 127 al. 2 Cst., dans la mesure où la nature de l'impôt le permet, les principes de l'universalité, de l'égalité de traitement et de la capacité économique doivent, en particulier, être respectés.
11.2. Dans l'<ref-ruling> consid. 7.6.3 p. 165 ss relatif à la situation des propriétaires imposables en Suisse d'immeubles situés à l'étranger, le Tribunal fédéral a considéré que le fait de ne pas appliquer la solution tirée de la jurisprudence en matière d'interdiction de double imposition intercantonale n'était pas contraire à l'art. 127 al. 2 Cst. Or, dans le cas présent, c'est-à-dire lorsque l'assujettissement en Suisse est limité en raison de la présence d'un immeuble, outre le fait que la jurisprudence en matière de double imposition ne s'applique pas, il n'y aurait de toute façon pas de raison de s'écarter de la solution développée dans l'<ref-ruling>, à laquelle il peut pour le surplus être renvoyé.
11.3. En tant qu'il concerne les revenus d'immeubles sis dans le canton de Vaud de contribuables domiciliés à l'étranger, l'art. 6 LI/VD est conforme à la Constitution. Partant, le recours est entièrement rejeté dans la mesure où il est recevable en tant qu'il concerne les impôts cantonal et communal.
12.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Succombant, les recourants doivent supporter un émolument judiciaire, solidairement entre eux (art. 65 et 66 al. 1 et 5 LTF). Ils n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_1201/2013 et 2C_1202/2013 sont jointes.
2.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est rejeté dans la mesure où il est recevable en tant qu'il concerne l'impôt cantonal et communal.
4.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
5.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions, Division juridique impôt fédéral direct.
Lausanne, le 15 janvier 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette