Faits : A. B.A._ et A.A._ sont domiciliés à Londres. Ils sont copropriétaires, chacun pour une demie, de la quote-part 125/1000 de la parcelle n° xxx de la Commune de X._, dans le canton de Vaud. Il ressort du dossier (art. 105 al. 2 LTF) que leur immeuble, dont la valeur fiscale déterminante a été arrêtée à 776'000 fr., leur a rapporté 81'600 fr. de revenus locatifs en 2008. Ils sont en outre également propriétaires d'un bien-fond en Espagne, d'une valeur de 105'000 fr., et bénéficiaires de titres et créances pour un montant de 1'710'153 fr. Le 15 mars 2010, l'Office d'impôt du district de Nyon a rendu une décision de taxation pour la période fiscale 2008. Après avoir procédé à une répartition proportionnelle des intérêts passifs en fonction de la situation des actifs (selon le dossier, les intérêts passifs sont constitués exclusivement d'intérêts hypothécaires d'un montant total de 35'707 fr. grevant l'immeuble en Suisse et leur répartition s'est effectuée selon la clé de répartition suivante: 27.23% pour la Suisse et 72.77% pour l'étranger; art. 105 al. 2 LTF), il a fixé le revenu imposable à 55'100 fr. au taux de 485'200 fr. pour les impôts cantonal et communal (ci-après: ICC) et le revenu imposable à 63'300 fr. au taux de 882'000 fr. pour l'impôt fédéral direct (ci-après: IFD). Il a notamment constaté un revenu net de la fortune de -72 fr. et attribué un montant de 25'984 fr. d'intérêts passifs à l'étranger. Le 15 avril 2010, B.A._ et A.A._ ont contesté cette décision en formant une réclamation auprès de l'Administration cantonale des impôts du canton de Vaud (ci-après: Administration cantonale des impôts). Ils ont en particulier contesté la répartition internationale des intérêts hypothécaires. Le 9 octobre 2012, l'Administration cantonale des impôts a rejeté la réclamation. Les époux A._ ont recouru contre ce prononcé le 9 novembre 2012 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). B. Par arrêt du 15 novembre 2013, le Tribunal cantonal a rejeté le recours des intéressés. Les juges cantonaux ont considéré que, dans le cas d'un immeuble sis en Suisse de contribuables domiciliés à l'étranger, il convenait de procéder à une répartition proportionnelle des intérêts passifs. Ils ont toutefois relevé qu'aucune perte étrangère ne pouvait être déduite du revenu réalisé en Suisse. Le Tribunal cantonal a pour le surplus constaté que cette pratique ne violait pas le principe de l'égalité de traitement et n'était pas arbitraire. C. Agissant par la voie du recours en matière de droit public, les contribuables demandent en substance au Tribunal fédéral, sous suite de frais et dépens, principalement de réformer les taxations fiscales en matière d'IFD et d'ICC pour l'année 2008, subsidiairement de renvoyer la cause à l'instance précédente pour nouvelle décision au sens des considérants. Ils invoquent une violation de l'art. 6 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et de l'art. 6 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSV 642.11) ainsi qu'une violation du principe de l'égalité de traitement, de l'interdiction de l'arbitraire et de la protection de la bonne foi, du principe de la légalité de l'impôt et du principe de l'imposition selon la capacité contributive. L'autorité précédente se réfère à son arrêt. L'Administration cantonale des impôts et l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, concluent au rejet du recours.