Faits :
A.
A.a. A.X._ et B.X._ se sont mariés le 11 mai 1996. Le couple a deux enfants, nés en 1984 et 1986.
A.X._ travaille à plein temps en qualité d'administrateur pour le compte de plusieurs sociétés: C._ SA; D._ SA (société détenue par la société fribourgeoise E._ SA); G._ SA; H._ SA et I._ SA. C._ SA est une société immobilière vaudoise. Les autres sociétés exploitent des fitness et sont situées en Valais (H._ SA et I._ SA), respectivement dans le canton de Vaud (D._ SA et G._ SA). L'activité d'administrateur de A.X._ est exercée selon un horaire libre.
B.X._ travaille pour le compte des mêmes sociétés que son mari, en qualité d'administratrice-comptable. Cette activité est exercée à 50%, sur la base d'un horaire libre. Pour les deux époux, le lieu de travail se situe en Valais et dans le canton de Vaud.
Le chiffre d'affaires généré par les sociétés de fitness sises en Valais est deux fois supérieur à celui généré par les sociétés vaudoises. La masse salariale des sociétés situées en Valais est plus de deux fois supérieure à celle des sociétés de fitness vaudoises. Les revenus bruts globaux des époux en Valais sont environ trois fois supérieurs à leurs revenus vaudois.
A.b. Les époux X._ partagent leur domicile entre le Valais et le canton de Vaud. Dans ce dernier canton, ils logent dans un appartement de 5,5 pièces à L._, qui leur est mis à disposition par la société D._ SA. En Valais, le couple occupe un appartement de 3 pièces dans la commune de J._ (<ref-law>), à K._, dont le loyer s'élève à 1'000 fr. par mois. Les époux résident dans ces deux communes en fonction des exigences professionnelles et de manière irrégulière. Ils se déplacent en voiture. Selon leurs explications, ils passent la majorité de leurs week-ends et une partie de leurs vacances à K._. Les époux X._ sont inscrits en résidence secondaire à L._ depuis le 1 er janvier 2006. Leur domicile principal est annoncé à J._ (<ref-law>).
A.c. Le 10 juillet 2012, la commune de L._ a demandé à l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) de déterminer le domicile principal des époux X._. La commune a joint à son envoi la facture d'électricité du couple pour l'année 2011 en indiquant qu'elle correspondait "à la consommation annuelle d'un ménage de quatre personnes".
Le 27 août 2012, A.X._ et B.X._ ont rempli un questionnaire relatif à la détermination du domicile fiscal. Selon ce questionnaire, les époux ne participent pas à la vie associative et sociale de L._, ni à celle de J._. Ils n'ont pas de connaissances particulières dans ces deux communes. Leurs enfants, majeurs, résident durant la semaine à Neuchâtel. La soeur de A.X._ habite à Renens, un de ses frères à Vevey et un autre à Lausanne.
Entre le 31 octobre 2012 et le 23 juillet 2013, le "Groupe spécial IF" (ci-après: le Groupe spécial) de l'Administration cantonale a procédé à des pointages et des observations à proximité du logement de L._ des époux X._, sur les deux véhicules mis à disposition des intéressés respectivement par la société D._ SA et par la société I._ SA. Pendant cette période, le Groupe spécial a exécuté 17 contrôles le matin (entre 6 heures et 9 heures 15) et 5 l'après-midi. Ces contrôles étaient répartis du lundi au vendredi. Selon le rapport du 29 juillet 2013 établi par le Groupe spécial, sur les 22 observations effectuées, la présence des deux véhicules des époux parqués sur les places de leur logement a été constatée 18 fois. Les 4 autres fois, un seul véhicule était présent.
B.
B.a. Le 16 août 2013, l'Administration cantonale a invité son homologue valaisan à renoncer à l'assujettissement illimité en Valais de A.X._ et B.X._ depuis le 1 er janvier 2013. Le 23 mai 2014, l'autorité fiscale valaisanne a refusé de suivre cette proposition.
Par décision du 10 juin 2014, l'Administration cantonale a arrêté le domicile fiscal principal des époux X._ à L._ dès le 1 er janvier 2013, au niveau communal, cantonal et fédéral.
B.b. Le 2 mars 2015, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par les contribuables contre la décision du 10 juin 2014. Les juges cantonaux ont retenu, en substance, que l'appartement occupé par le couple à L._ était plus spacieux que celui de K._ et que les contrôles effectués par l'Administration cantonale, ainsi que la facture d'électricité pour l'année 2011, démontraient une présence accrue des époux X._ sur territoire vaudois du lundi au vendredi. En outre, les deux frères de A.X._ résidaient aussi dans le canton de Vaud. Selon le Tribunal cantonal, ces circonstances objectives permettaient de retenir que le centre des intérêts personnels du couple était dans le canton de Vaud.
C.
Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, de constater que leur domicile fiscal se trouve en Valais.
Invité à se déterminer, le service cantonal des contributions du canton du Valais dépose des observations et propose l'admission du recours. L'Administration cantonale dépose des déterminations et conclut au rejet du recours, dans la mesure de sa recevabilité. L'Administration fédérale des contributions renonce à se déterminer. Le Tribunal cantonal prend position sur le recours et se réfère à son arrêt.

Considérant en droit :
1.
1.1. Le recours est dirigé contre un arrêt final (<ref-law>) rendu dans une cause de droit public (<ref-law>) par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée (cf. <ref-ruling> consid. 2.3 p. 312). Déposé en temps utile, compte tenu des féries (art. 46 al. 1 let. a et art. 100 al. 1 LTF) et dans les formes requises (<ref-law>), par les destinataires de la décision attaquée qui ont un intérêt digne de protection à l'annulation ou à la modification de celle-ci (<ref-law>), le recours est recevable, sous réserve de ce qui suit.
1.2. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>). Les deux pièces déposées par les recourants, datées toutes deux du 12 mars 2015, sont postérieures à l'arrêt attaqué. Elles sont censées démontrer l'absence des intéressés de leur domicile de L._ pour des périodes allant de 2009 à 2014 et portent donc sur des éléments que les contribuables pouvaient faire valoir avant. Partant, elles sont irrecevables.
1.3. Les recourants ne formulent des conclusions qu'à l'encontre de l'arrêt attaqué, qui concerne leur domicile fiscal dans le canton de Vaud à partir de 2013. Les éventuelles décisions en matière fiscale rendues par le canton du Valais dans le chapitre des intéressés pour les périodes fiscales 2013 et 2014 ne sont pas remises en cause par les recourants.
2.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 2.4 p. 313 s.) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas contenus (<ref-ruling> consid. 6.2 p. 288).
2.2. Dans la mesure où les recourants présentent une argumentation appellatoire, en opposant leur propre version des faits à celle du Tribunal cantonal, sans cependant invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
3.
Sur le plan formel, les recourants se plaignent d'une violation de leur droit d'être entendus garanti par l'art. 29 al. 2 Cst. Ils expliquent n'avoir "jamais eu connaissance" du rapport établi le 29 juillet 2013 par le Groupe spécial, ce qui leur aurait empêché de se prononcer sur celui-ci.
3.1. Tel qu'il est garanti à l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, le droit de consulter le dossier, de produire des preu-ves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuve pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (cf. <ref-ruling> consid. 3.2 p. 270; <ref-ruling> consid. 5.1 p. 293).
3.2. En l'espèce, les intéressés perdent de vue que, pendant la procédure cantonale de recours, l'Administration cantonale s'était expressément référée à l'enquête effectuée par le Groupe spécial (cf. détermination de l'Administration cantonale du 10 novembre 2014, p. 4 n. 12; <ref-law>). D'ailleurs, comme l'a relevé pertinemment le Tribunal cantonal dans ses déterminations, dans leur réplique du 2 décembre 2014 les recourants ont évoqué l'enquête en question (cf. réplique, p. 4 n. 12; <ref-law>). Ainsi, même dans l'hypothèse où ils n'auraient pas reçu une copie du rapport d'enquête du 29 juillet 2013, il faut admettre que les contribuables étaient au courant de cette enquête. Ils avaient donc la possibilité de demander à pouvoir consulter le dossier, afin de prendre connaissance des résultats détaillés de l'enquête et de se déterminer à ce sujet. Or, les recourants ne prétendent pas avoir entrepris des démarches en ce sens. Partant, n'ayant pas exercé leur droit de consulter le dossier en temps utile, ils ne peuvent pas se plaindre devant le Tribunal fédéral d'une violation de leur droit d'être entendus. Le grief ne peut qu'être rejeté.
4.
Sur le fond, les recourants invoquent une violation de l'art. 127 al. 3 Cst.
4.1. Le principe de l'interdiction de la double imposition au sens de l'art. 127 al. 3 Cst. s'oppose à ce qu'un contribuable soit concrètement soumis, par deux ou plusieurs cantons, sur le même objet et pendant la même période à des impôts analogues (double imposition effective) ou à ce qu'un canton excède les limites de sa souveraineté fiscale et, violant des règles de conflit jurisprudentielles, prétende prélever un impôt dont la perception est de la seule compétence d'un autre canton (double imposition virtuelle) (cf. <ref-ruling> consid. 2.2 p. 147; <ref-ruling> consid. 2.1 p. 306 s.; <ref-ruling> consid. 2.1 p. 311).
4.2. En l'espèce, la décision de l'Administration cantonale du 10 juin 2014, confirmée par le Tribunal cantonal le 2 mars 2015, a arrêté le domicile fiscal des recourants dans le canton de Vaud dès le 1er janvier 2013, alors que les intéressés, soutenus par le canton du Valais, ont annoncé leur domicile principal dans ce dernier canton et affirment qu'ils doivent être assujettis de manière illimitée à l'impôt par le canton du Valais, pour la même période. On se trouve donc en présence d'une double imposition virtuelle.
4.3. Selon la jurisprudence du Tribunal fédéral relative à la double imposition (cf. art. 127 al. 3 Cst.), le domicile fiscal (principal) d'une personne physique exerçant une activité lucrative dépendante se trouve au lieu où elle réside avec l'intention de s'y établir durablement (cf. aussi, pour le domicile fiscal cantonal, art. 3 al. 2 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID]; RS 642.14), soit au lieu où la personne a le centre de ses intérêts personnels. Ce lieu se détermine en fonction de l'ensemble des circonstances objectives et non sur la base des seules déclarations du contribuable, qui ne peut pas choisir librement son domicile fiscal (<ref-ruling> consid. 3.2 p. 305 s.). Dans ce contexte, le domicile politique ne joue aucun rôle décisif: le dépôt des papiers et l'exercice des droits politiques ne constituent, au même titre que les autres relations de la personne assujettie à l'impôt, que des indices propres à déterminer le domicile fiscal (cf. <ref-ruling> consid. 4.1 p. 35 s.).
4.4. Si une personne séjourne alternativement à deux endroits, ce qui est notamment le cas lorsque le lieu de travail ne coïncide pas avec le lieu de résidence habituelle, son domicile fiscal se trouve au lieu avec lequel elle a les relations les plus étroites. Pour le contribuable exerçant une activité lucrative dépendante, le domicile fiscal se trouve en principe à son lieu de travail, soit au lieu à partir duquel il exerce quotidiennement son activité lucrative, pour une longue durée ou pour un temps indéterminé, en vue de subvenir à ses besoins (cf. <ref-ruling> consid. 4.2 p. 36; <ref-ruling> consid. 2b p. 56). Cependant, pour le contribuable marié dont le lieu de travail ne correspond pas au lieu de résidence de la famille, les liens créés par les rapports personnels et familiaux l'emportent en général sur ceux tissés au lieu de travail; pour cette raison, ces personnes sont imposables en principe au lieu de résidence de la famille (cf. <ref-ruling> consid. 2d p. 467 s.; arrêt 2C_536/2014 du 6 février 2015 consid. 2.2). Il en va de même pour le contribuable marié qui exerce une activité lucrative dépendante (sans avoir de fonction dirigeante) et ne rentre dans sa famille que pour les fins de semaine et pendant son temps libre. Ce n'est que lorsque ce même contribuable ne rentre pas dans sa famille en fin de semaine ou pas avec la régularité nécessaire que son domicile fiscal principal est au lieu du travail, le lieu de résidence de la famille représentant alors pour lui un domicile fiscal secondaire (<ref-ruling> consid. 4.2 p. 36 s.; arrêt 2C_918/2011 du 12 avril 2012 consid. 3.2).
4.5. La présente cause a ceci de particulier que les recourants partagent tous deux leur domicile entre le Valais et le canton de Vaud, en fonction des exigences professionnelles et de manière irrégulière. Ils travaillent pour cinq sociétés, deux sises en Valais et trois sises dans le canton de Vaud, selon un horaire libre. Leur lieu de travail se situe aussi bien en Valais que dans le canton de Vaud. Selon leurs explications, ils passent la majorité de leurs week-ends et une partie de leurs vacances à K._. Les époux ne sont pas propriétaires des logements dans lesquels ils habitent à L._ et à J._, ils ne participent pas à la vie sociale et associative de ces deux communes et ils n'ont plus d'enfants à charge. Comme le relève à juste titre le Tribunal cantonal, ces éléments ne permettent pas d'établir le domicile fiscal du couple en fonction des critères fixés par la jurisprudence précitée. Il faut donc examiner cette question en fonction de l'ensemble des circonstances objectives.
4.6. Il ressort des faits constatés dans l'arrêt attaqué, qui lient la Cour de céans (<ref-law>), qu'entre le 31 octobre 2012 et le 23 juillet 2013 les recourants étaient très souvent présents sur territoire vaudois durant la semaine. Pendant cette période - qui ne saurait être qualifiée de "minime", contrairement à ce que soutiennent les intéressés - les contrôles aléatoires effectués par le Groupe spécial ont permis de constater que, dans plus de 80% des cas, les deux intéressés séjournaient à L._. La présence des deux véhicules des époux est un indice décisif en ce sens, étant donné que les contribuables ont indiqué se déplacer en voiture. En outre, il n'est pas contesté que l'appartement occupé par les époux à L._ est plus spacieux que celui de K._, étant d'ailleurs rappelé que les allégations des recourants concernant la nature "sans aucune prétention" de l'appartement vaudois sont irrecevables (cf. supra consid. 2.2). De plus, l'arrêt entrepris relève que la consommation d'électricité des recourants pour l'année 2011 correspondait à la consommation annuelle d'un ménage de quatre personnes. Ce fait concerne une année précédant la période fiscale en question, mais il constitue tout de même un indice important qui plaide en faveur d'une présence accrue des recourants sur le territoire vaudois. Finalement, les juges cantonaux relèvent qu'une partie de la famille de l'époux réside dans le canton de Vaud, un de ses frères étant domicilié à Lausanne et l'autre à Vevey. Dans ces ces circonstances, on ne peut pas reprocher au Tribunal cantonal d'avoir retenu que le centre commun principal des intérêts des contribuables est à L._.
4.7. Les recourants reprochent aux juges cantonaux de n'avoir pas tenu compte d'éléments propres à confirmer que leur domicile fiscal principal est en Valais. En particulier, ils se réfèrent au "relevé du restaurant de la Tour de Super-Crans" qu'ils ont produit en procédure cantonale. D'après les contribuables, ce document démontrerait qu'ils "séjournent bien en Valais la semaine également et non pas uniquement les week-ends". Cependant, le document en question se limite à attester que les intéressés ont parfois mangé au restaurant à K._. Ces notes de frais, qui font état de dix repas sur une période d'un peu plus de deux mois en 2013 et de treize repas sur une période d'environ deux mois et demi en 2014, ne sont pas représentatives. Contrairement à l'enquête effectuée par l'Administration cantonale, qui a porté sur une période de neuf mois, elles ne concernent - à l'exception d'un repas pris en août 2014 - que les mois de janvier à mars. On ne peut donc reprocher au Tribunal cantonal de ne pas avoir accordé à ces notes un caractère déterminant.
Les recourants invoquent aussi le fait que les deux sociétés valaisannes qu'ils administrent génèrent "deux (recte: trois) fois plus de revenus que les sociétés vaudoises". Toutefois, cet élément ne suffit pas à lui seul à prouver la présence accrue des contribuables en Valais. Comme l'indique à juste titre le Tribunal cantonal, les activités des époux sont avant tout d'ordre administratif et ne nécessitent pas forcément une présence physique intense auprès des sociétés. Il ne suffit en tout cas pas d'évoquer, comme le font les recourants, le rapport inégal entre les revenus vaudois et ceux valaisans, pour fonder l'hypothèse d'un domicile fiscal en Valais.
5.
Exceptionnellement, la jurisprudence admet l'existence d'un domicile alternant, c'est-à-dire de deux domiciles fiscaux d'importance égale, lorsqu'un contribuable a des liens d'égale intensité avec les deux lieux où il séjourne. Tel est le cas lorsque le contribuable transfère à intervalles réguliers son domicile d'un lieu à un autre, de telle manière qu'en additionnant ces périodes, la durée de la résidence à chacun des deux endroits soit à peu près équivalente sur une année. L'existence d'un domicile alternant entraîne en principe le partage de la souveraineté fiscale entre les deux cantons concernés, les facteurs fiscaux étant répartis par moitié (cf. <ref-ruling> consid. 4.2 p. 150 et les références citées; arrêt 2C_918/2011 du 12 avril 2012 consid. 3.5).
En l'occurrence, les indices pris en compte par le Tribunal cantonal, en particulier la présence presque continue des contribuables à leur domicile de L._ lors des contrôles effectués par le Groupe spécial, ainsi que la consommation d'électricité du couple pour l'année 2011, ne permettent pas de retenir l'hypothèse d'un domicile alternant. Au demeurant, après avoir évoqué cette hypothèse, les recourants indiquent eux-mêmes qu'un domicile alternant "n'entre pas en considération".
6.
Il ressort de ce qui précède que l'instance précédente a jugé sans violer le droit fédéral que le domicile fiscal des recourants se situe à L._ dans le canton de Vaud dès le 1er janvier 2013.
7.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Succombant, les recourants doivent supporter les frais de justice, solidairement entre eux (cf. art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, à l'Administration cantonale des impôts du canton de Vaud, au Service cantonal des contributions du canton du Valais, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions.
Lausanne, le 8 novembre 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Ermotti