Faits : A. A.a. A.X._ et B.X._ se sont mariés le 11 mai 1996. Le couple a deux enfants, nés en 1984 et 1986. A.X._ travaille à plein temps en qualité d'administrateur pour le compte de plusieurs sociétés: C._ SA; D._ SA (société détenue par la société fribourgeoise E._ SA); G._ SA; H._ SA et I._ SA. C._ SA est une société immobilière vaudoise. Les autres sociétés exploitent des fitness et sont situées en Valais (H._ SA et I._ SA), respectivement dans le canton de Vaud (D._ SA et G._ SA). L'activité d'administrateur de A.X._ est exercée selon un horaire libre. B.X._ travaille pour le compte des mêmes sociétés que son mari, en qualité d'administratrice-comptable. Cette activité est exercée à 50%, sur la base d'un horaire libre. Pour les deux époux, le lieu de travail se situe en Valais et dans le canton de Vaud. Le chiffre d'affaires généré par les sociétés de fitness sises en Valais est deux fois supérieur à celui généré par les sociétés vaudoises. La masse salariale des sociétés situées en Valais est plus de deux fois supérieure à celle des sociétés de fitness vaudoises. Les revenus bruts globaux des époux en Valais sont environ trois fois supérieurs à leurs revenus vaudois. A.b. Les époux X._ partagent leur domicile entre le Valais et le canton de Vaud. Dans ce dernier canton, ils logent dans un appartement de 5,5 pièces à L._, qui leur est mis à disposition par la société D._ SA. En Valais, le couple occupe un appartement de 3 pièces dans la commune de J._ (art. 105 al. 2 LTF), à K._, dont le loyer s'élève à 1'000 fr. par mois. Les époux résident dans ces deux communes en fonction des exigences professionnelles et de manière irrégulière. Ils se déplacent en voiture. Selon leurs explications, ils passent la majorité de leurs week-ends et une partie de leurs vacances à K._. Les époux X._ sont inscrits en résidence secondaire à L._ depuis le 1 er janvier 2006. Leur domicile principal est annoncé à J._ (art. 105 al. 2 LTF). A.c. Le 10 juillet 2012, la commune de L._ a demandé à l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) de déterminer le domicile principal des époux X._. La commune a joint à son envoi la facture d'électricité du couple pour l'année 2011 en indiquant qu'elle correspondait "à la consommation annuelle d'un ménage de quatre personnes". Le 27 août 2012, A.X._ et B.X._ ont rempli un questionnaire relatif à la détermination du domicile fiscal. Selon ce questionnaire, les époux ne participent pas à la vie associative et sociale de L._, ni à celle de J._. Ils n'ont pas de connaissances particulières dans ces deux communes. Leurs enfants, majeurs, résident durant la semaine à Neuchâtel. La soeur de A.X._ habite à Renens, un de ses frères à Vevey et un autre à Lausanne. Entre le 31 octobre 2012 et le 23 juillet 2013, le "Groupe spécial IF" (ci-après: le Groupe spécial) de l'Administration cantonale a procédé à des pointages et des observations à proximité du logement de L._ des époux X._, sur les deux véhicules mis à disposition des intéressés respectivement par la société D._ SA et par la société I._ SA. Pendant cette période, le Groupe spécial a exécuté 17 contrôles le matin (entre 6 heures et 9 heures 15) et 5 l'après-midi. Ces contrôles étaient répartis du lundi au vendredi. Selon le rapport du 29 juillet 2013 établi par le Groupe spécial, sur les 22 observations effectuées, la présence des deux véhicules des époux parqués sur les places de leur logement a été constatée 18 fois. Les 4 autres fois, un seul véhicule était présent. B. B.a. Le 16 août 2013, l'Administration cantonale a invité son homologue valaisan à renoncer à l'assujettissement illimité en Valais de A.X._ et B.X._ depuis le 1 er janvier 2013. Le 23 mai 2014, l'autorité fiscale valaisanne a refusé de suivre cette proposition. Par décision du 10 juin 2014, l'Administration cantonale a arrêté le domicile fiscal principal des époux X._ à L._ dès le 1 er janvier 2013, au niveau communal, cantonal et fédéral. B.b. Le 2 mars 2015, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par les contribuables contre la décision du 10 juin 2014. Les juges cantonaux ont retenu, en substance, que l'appartement occupé par le couple à L._ était plus spacieux que celui de K._ et que les contrôles effectués par l'Administration cantonale, ainsi que la facture d'électricité pour l'année 2011, démontraient une présence accrue des époux X._ sur territoire vaudois du lundi au vendredi. En outre, les deux frères de A.X._ résidaient aussi dans le canton de Vaud. Selon le Tribunal cantonal, ces circonstances objectives permettaient de retenir que le centre des intérêts personnels du couple était dans le canton de Vaud. C. Agissant par la voie du recours en matière de droit public, A.X._ et B.X._ demandent au Tribunal fédéral, sous suite de frais et dépens, de constater que leur domicile fiscal se trouve en Valais. Invité à se déterminer, le service cantonal des contributions du canton du Valais dépose des observations et propose l'admission du recours. L'Administration cantonale dépose des déterminations et conclut au rejet du recours, dans la mesure de sa recevabilité. L'Administration fédérale des contributions renonce à se déterminer. Le Tribunal cantonal prend position sur le recours et se réfère à son arrêt.