Faits:
A. A.a Les époux C._ étaient propriétaires de la parcelle n° 364 de la commune de D._, sur laquelle se trouvaient deux chalets. Par acte de modification de limites et de vente du 23 août 2002, ils en ont détaché la nouvelle parcelle n° 910, comprenant un chalet, qu'ils ont vendue aux époux B._.
Les deux chalets, qui formaient un seul complexe résidentiel, partagent leur installation de chauffage (système de chauffage centralisé), ainsi que le réseau d'eau potable. Les locaux techniques abritant la chaufferie et la vanne d'amenée d'eau sont situés dans le sous-sol du chalet situé sur le n° 364. Ils sont accessibles par deux voies: la première, par les parties privatives du chalet situé sur le n° 364; la deuxième, depuis l'extérieur, par un saut-de-loup aménagé ultérieurement. Le réglage du chauffage du chalet situé sur le n° 910 peut se faire à distance, au moyen d'un boîtier de commande.
A.b Par acte du 5 septembre 2003, représentés par leur notaire et les secrétaires de l'étude, les époux C._ et les époux B._ ont conclu un contrat de servitude dans les termes suivants:
"Il est prévu à l'art. VII des conditions de cette vente [acte du 23 août 2002] que la consommation, les frais d'entretien et de rénovation du chauffage central (y compris la citerne à mazout) utile aux deux chalets... et de l'eau chaude seront partagés entre les parties en proportion des mètres cubes respectifs de leurs chalets.
Cela étant, les parties décident par les présentes de constituer l'obligation décrite ci-devant sous forme de servitude foncière réciproque de chauffage à charge et en faveur des parcelles n° 364 et 910 du nouvel état sur la commune de D._. Cette servitude sera inscrite sur les deux feuillets desdites parcelles.
L'assiette de ladite servitude est indiquée en rouge....
Est également annexé au présent contrat, le cubage respectif des chalets...
Les parties auront chacune accès aux locaux techniques prévus pour le chauffage. Elles auront chacune une clé de ces locaux."
A.c Le transfert de propriété et l'inscription des époux B._ comme copropriétaires de la parcelle n° 910 et l'inscription de la servitude au registre foncier ont été opérés à la même date, le 2 octobre 2003.
La servitude a été portée au registre foncier, sur les feuillets respectifs des deux immeubles, dans les termes suivants:
"D. & Ch.: Servitude foncière réciproque de chauffage à charge et en faveur des n° 364 et 910 v/PJ".
A.d Entre 2003 et 2005, les époux B._ ont éprouvé la nécessité d'accéder à la chaufferie à trois reprises, et se sont adressés au concierge du chalet situé sur la parcelle n° 364.
A.e Le 10 février 2006, les époux C._ ont contacté les époux B._ pour régler la question de l'accès aux locaux techniques: le chalet qu'ils occupent étant équipé d'un dispositif de sécurité, ils envisageaient de remettre la clé du local technique et le code de neutralisation de l'alarme à un tiers, auquel les époux B._ pourraient s'adresser, prévoyant l'aménagement d'un saut-de-loup qui permettrait une entrée directe depuis l'extérieur en cas d'urgence. Les époux B._ ont refusé cette solution, estimant avoir droit à un accès sans l'intermédiaire d'un tiers et sans les difficultés du saut-de-loup.
A.f Le 14 juin 2006, les époux C._ ont vendu leur parcelle n° 364 aux époux A._, de nationalité belge (pour 11'225'000 fr.). Le 13 septembre 2006, les époux A._ ont déclaré se rallier au point de vue exprimé par les précédents propriétaires. Ils ont été inscrits au registre foncier en qualité de copropriétaires le 21 septembre 2006.
A.g En septembre 2009, le chalet des époux B._ a été privé d'eau chaude en raison de la fermeture de la vanne principale située dans le chalet où se trouve la chaufferie, fermeture rendue nécessaire pour rechercher une fuite; en octobre, il n'a de nouveau plus été alimenté en eau chaude durant une journée en raison d'une déficience du chauffage; un technicien a dû intervenir.
A.h Depuis septembre 2009, une gouvernante habite dans le chalet des époux A._, ayant succédé à un concierge. Les époux A._ ont un contrat d'entretien et d'assistance technique pour l'installation de chauffage auprès d'une entreprise spécialisée, avec un service de dépannage 24 heures sur 24 durant 365 jours.
B. Par mémoire du 28 juin 2007, rectifié le 2 août 2007, les époux B._ ont ouvert contre les époux A._ une action tendant à ce qu'ordre soit donné à ces derniers de leur remettre les clés permettant l'accès aux locaux techniques (chauffage et arrivée d'eau) sis à l'intérieur du chalet érigé sur la parcelle n° 364. Les parties divergent quant à l'interprétation de la servitude de chauffage: les demandeurs veulent pouvoir emprunter le sous-sol du chalet des défendeurs pour pouvoir accéder aux locaux techniques, et avoir les clefs nécessaires à cette fin; les défendeurs s'y opposent, estimant que respectivement l'ouverture aménagée par le saut-de-loup pour les cas d'urgence et la possibilité de s'adresser à un tiers (concierge, agence immobilière) satisfont au contenu de la servitude. Les demandeurs prétendent également à pouvoir accéder au local d'amenée d'eau, ce que les défendeurs contestent.
Les mesures provisionnelles tendant au même but, requises le 3 janvier 2007, puis à nouveau le 24 octobre 2009, ont été rejetées.
C. Par jugement du 18 octobre 2010, le juge de la Cour civile II du Tribunal cantonal du canton du Valais a ordonné aux défendeurs, en leur qualité de copropriétaires du fonds grevé n° 364, de tolérer l'accès à la chaufferie par les propriétaires du fonds dominant n° 910, par le sous-sol du chalet construit sur le fonds grevé. Il résulte des motifs, que les défendeurs doivent remettre aux demandeurs, notamment, les clés permettant l'accès à ce local technique directement par ledit sous-sol.
D. Par mémoire du 18 novembre 2010, les défendeurs interjettent un recours constitutionnel subsidiaire au Tribunal fédéral, concluant à la réforme de ce jugement en ce sens que la demande est rejetée et qu'il est constaté que la servitude de chauffage consiste dans le fait que le chalet situé sur la parcelle n° 910 est relié par des tuyaux de chauffage à la chaufferie située dans les sous-sols du chalet sis sur la parcelle n° 364 et qu'il est "chauffé" par le dispositif de chaufferie, au moyen d'une télécommande. Ils invoquent l'arbitraire dans l'interprétation de la servitude (art. 9 Cst. et 734 et 738 CC), la constatation arbitraire des faits (art. 118 LTF et 9 Cst.) et la violation de leur droit à une décision motivée (art. 29 al. 2 Cst.).
Des observations n'ont pas été requises.
Considérant en droit:
1. Interjeté en temps utile (art. 100 al. 1 LTF) par des parties qui ont succombé en dernière instance cantonale (art. 115 et 75 al. 1 LTF) contre une décision finale (art. 90 LTF) rendue dans une affaire civile (art. 72 al. 1 LTF) de nature pécuniaire, dont la valeur litigieuse est inférieure à 30'000 fr., le recours constitutionnel (art. 113 ss LTF) est ouvert.
2. Seule la violation des droits constitutionnels peut être invoquée (art. 116 LTF; ATF 133 III 439 consid. 3.2). En particulier, le Tribunal fédéral ne corrige l'application du droit matériel que si celle-ci est arbitraire (art. 9 Cst.). Il n'examine que les griefs expressément soulevés et motivés de manière claire et détaillée (principe d'allégation; art. 106 al. 2 par renvoi de l'art. 117 LTF). Il statue sur la base des faits constatés dans la décision attaquée (art. 118 al. 1 LTF), à moins que le recourant n'expose par une argumentation précise, conformément au principe d'allégation, que la constatation d'un fait, pertinent pour l'issue de la procédure, est manifestement insoutenable, c'est-à-dire en contradiction claire avec la situation de fait, repose sur une inadvertance manifeste ou n'est pas matériellement justifiée (ATF 133 III 584 consid. 4.1).
3. Les recourants reprochent au juge cantonal de s'être appuyé arbitrairement sur l'art. 737 CC pour interpréter la servitude alors que cet article ne peut pas être invoqué pour étendre le contenu d'une servitude au-delà du cadre défini par l'art. 738 CC.
Ce grief résulte d'une mauvaise compréhension du jugement par les recourants. Le juge cantonal a en effet considéré que les demandeurs, bénéficiaires de la servitude, ont ouvert une action confessoire contre les propriétaires du fonds grevé, qui troublent l'exercice de leur droit de servitude, et que cette action nécessite préjudiciellement d'interpréter le contenu de la servitude convenue. Le juge cantonal a retenu ainsi que l'objet de la servitude est déterminé par la convention des parties et que l'art. 737 al. 2 CC ne peut conduire à restreindre cet objet; il ne limite pas le droit comme tel, mais seulement les formes abusives de son exercice. Le propriétaire du fonds dominant a ainsi droit à la pleine satisfaction des besoins pour lesquels la servitude a été créée. Le juge cantonal a donc procédé à la détermination du contenu de la servitude, selon la convention des parties, conformément aux principes jurisprudentiels dégagés de l'art. 738 CC.
4. Les recourants se plaignent également d'une application arbitraire de l'art. 738 CC. Ils estiment que l'inscription au registre foncier et la situation factuelle suffisent pour déterminer le contenu de la servitude. Ils soutiennent que la servitude reconnaît simplement que la parcelle n° 910 n'a pas de chaufferie propre, que le chalet est chauffé au moyen du dispositif de chaufferie situé dans le chalet du fonds servant, et ce grâce à une télécommande. Selon eux, il ressort de l'inscription que la servitude ne comprend pas un accès direct à la chaufferie en passant par le sous-sol du chalet du fonds servant; si tel avait dû être le cas, elle aurait été doublée d'une servitude de passage d'accès à la chaufferie par le sous-sol. Dès lors, en admettant que l'inscription était trop sommaire et qu'il fallait se référer à l'acte constitutif, le juge aurait appliqué arbitrairement l'art. 738 CC.
Ce grief est infondé. Selon la jurisprudence, pour déterminer le contenu et l'étendue d'une servitude, le juge doit procéder selon l'ordre des étapes prévu par l'art. 738 CC (ATF 132 III 651 consid. 8; 131 III 345 consid. 1.1; 130 III 554 consid. 3.1). Dans une première étape, il faut se baser sur l'inscription au registre foncier et, si celle-ci est claire, elle fait règle et d'autres moyens d'interprétation ne peuvent pas être pris en considération (art. 738 al. 1 CC; ATF 128 III 169 consid. 3a; 123 III 461 consid. 2b). Dans une deuxième étape, si l'inscription au registre foncier est peu claire, incomplète ou, ce qui est fréquent, sommaire et nécessite des éclaircissements, la servitude doit être interprétée selon son "origine", c'est-à-dire selon le contrat constitutif de servitude, dans les limites de l'inscription (art. 738 al. 2 CC). Dans une troisième étape, si le contrat constitutif de servitude n'est pas concluant, l'étendue de la servitude peut être précisée par la manière dont elle a été exercée pendant longtemps, paisiblement et de bonne foi (art. 738 al. 2 CC).
Or, comme l'a retenu sans arbitraire le juge cantonal, le texte de l'inscription portée au registre foncier "servitude foncière réciproque de chauffage" est sommaire et ne permet pas à elle seule de déterminer le contenu de la servitude: l'utilisation de la servitude de chauffage nécessite-t-elle ou non l'accès aux locaux techniques par le sous-sol du chalet situé sur le fonds grevé? La servitude de chauffage est-elle une servitude de conduites seule ou une servitude de conduites et d'accès? C'est donc sans arbitraire que le juge cantonal a considéré qu'il y avait lieu de se référer à son "origine", et donc d'interpréter le contenu et l'étendue de la servitude à l'aide de l'acte constitutif.
5. Les recourants estiment que l'interprétation de l'acte constitutif sous l'angle de l'art. 738 CC est elle aussi entachée d'arbitraire.
5.1 Faute de grief, il n'y a pas lieu d'examiner si l'interprétation de la volonté réelle devait prévaloir en l'espèce sur l'interprétation selon le principe de la confiance retenue par le juge cantonal dès lors que les défendeurs, tiers acquéreurs, avaient connaissance du litige relatif à l'interprétation de la servitude avant leur inscription comme propriétaires au registre foncier (cf. Hohl, Le contrôle de l'interprétation des servitudes par le Tribunal fédéral, in RNRF 2009 p. 73, spéc. p. 78 s.).
5.1 Faute de grief, il n'y a pas lieu d'examiner si l'interprétation de la volonté réelle devait prévaloir en l'espèce sur l'interprétation selon le principe de la confiance retenue par le juge cantonal dès lors que les défendeurs, tiers acquéreurs, avaient connaissance du litige relatif à l'interprétation de la servitude avant leur inscription comme propriétaires au registre foncier (cf. Hohl, Le contrôle de l'interprétation des servitudes par le Tribunal fédéral, in RNRF 2009 p. 73, spéc. p. 78 s.).
5.2 5.2.1 Selon le jugement attaqué, il ressort de l'acte constitutif que les parties originaires ont commencé par régler la question du partage des frais afférents au "chauffage central" et à "l'eau chaude" (première clause) et qu'ensuite, elles ont décidé de constituer l'obligation décrite ci-devant sous forme d'une servitude de chauffage (deuxième clause). Une fois ces éléments posés et l'assiette de la servitude définie, elles sont convenues que chacune disposerait d'un "accès aux locaux techniques prévus pour le chauffage". Au vu de l'intitulé de l'acte ("servitude de chauffage"), de l'ordre d'insertion des clauses et de leur articulation, un tiers acquéreur du fonds servant pouvait, sur la base du principe de la confiance, considérer qu'il était tenu de souffrir un accès à la chaufferie uniquement - la question de l'accès au local d'amenée d'eau n'est pas litigieuse dans la présente procédure, faute de recours des demandeurs -. Lors de la conclusion de cet acte, le passage extérieur par le saut-de-loup n'existait pas, ce que les défendeurs n'ignoraient pas puisqu'il a été aménagé après leur acquisition de l'immeuble et peu de temps avant leur prise de possession des lieux. Ainsi, dès lors que le texte clair de l'acte ne prévoyait pas la création d'un nouvel accès et qu'aucune autre circonstance objective ne laissait entrevoir une telle intention des parties concernées, les défendeurs pouvaient, en application du principe de la confiance, comprendre que l'accès aux locaux techniques prévus pour le chauffage se ferait uniquement par l'utilisation du seul passage existant, à savoir par le sous-sol du chalet du fonds grevé. Du reste, il ressort des circonstances qui ont entouré l'aménagement de l'accès extérieur (courrier de l'avocat parlant d'une modification de la servitude) et de la période à laquelle le saut-de-loup a été équipé d'échelles (après la signature de la vente du 14 juin 2006) que les aliénateurs et les acquéreurs du fonds servant avaient bien compris quelles étaient les modalités prévues pour l'exercice de la servitude. L'acte constitutif ne comporte d'ailleurs aucune restriction du droit d'accès aux seuls cas présentant un certain degré d'urgence. La nécessité pour les demandeurs de requérir le concours de tiers (employés de maison, agence immobilière) pour accéder à la chaufferie ne trouve aucun fondement dans le texte clair de l'acte; les défendeurs n'ont pas établi l'existence de circonstances particulières dont on aurait pu de bonne foi déduire que les parties originaires au contrat entendaient exiger un tel mode de faire. Enfin, le chalet situé sur le fonds grevé était déjà équipé d'une alarme anti-effraction au moment de la signature de l'acte de vente. La question de l'aménagement d'un passage indépendant par le saut-de-loup ou d'une installation de chauffage autonome dans le chalet des demandeurs peut demeurer indécise dès lors qu'il s'agirait d'une modification du contenu de la servitude tel qu'il a pu être déterminé sur la base de l'acte constitutif. Dans le cadre de l'interprétation de l'acte constitutif, il n'y a pas non plus lieu de peser les intérêts respectifs des parties et donc de discuter l'absence de nécessité pour les demandeurs d'accéder à l'installation commune de chauffage en raison de la conclusion d'un contrat d'assistance et d'entretien, d'un mécanisme de commande à distance et du prétendu manque de connaissances techniques des demandeurs.
5.2.2 Selon les recourants, la clause selon laquelle "les parties auront chacune accès et elles auront chacune une clé de ces locaux est entachée de zones d'ombre: elles n'ont pas précisé quand, à quelle fréquence et par qui l'accès pouvait se faire. Vu que les propriétaires originaires ont équipé leur chalet d'un système anti-effraction, le but de la servitude apparaîtrait ambigu. On ne pourrait donc déduire de cette clause qu'ils doivent tolérer en tout temps l'accès à la chaufferie par le sous-sol de leur chalet, à savoir par le biais des parties privatives de leur chalet.
Par cette critique, les recourants ne démontrent pas en quoi la motivation de la cour cantonale constituerait une application arbitraire des principes de l'interprétation objective des contrats. Elle se révèle donc irrecevable.
6. Les recourants reprochent enfin au juge cantonal de n'avoir pas pris en compte la façon dont la servitude a été exercée pendant longtemps, et donc d'avoir appliqué de manière arbitraire l'art. 738 CC. Selon eux, de 2002 à 2006, les demandeurs n'ont été en possession d'aucune clé leur permettant d'accéder à la chaufferie et ils n'ont jamais eu d'accès physique à la chaufferie par le sous-sol du chalet. Ils estiment que les demandeurs n'ont aucun besoin d'avoir un tel accès, puisqu'un concierge, respectivement une gouvernante vit à l'année dans le chalet, qu'une agence agréée est chargée de la révision et du remplissage de la citerne et que le chalet est au bénéfice d'un service de dépannage. Comme ils ne disposent d'aucune connaissance technique, ils ne voient d'ailleurs pas en quoi l'accès à la chaufferie leur serait utile.
Ce grief est infondé. Selon la jurisprudence, l'interprétation à l'aide de la manière dont la servitude a été exercée pendant longtemps, paisiblement et de bonne foi, n'intervient que si l'acte constitutif ne permet pas d'en préciser le contenu et l'étendue. Le juge cantonal n'est donc pas tombé dans l'arbitraire en ne recourant pas à ce troisième moyen d'interprétation, subsidiaire aux deux autres.
7. Lorsque les recourants se plaignent de constatation arbitraire des faits (art. 118 LTF et 9 Cst.), ils se bornent à lister une série de faits, de manière purement appellatoire, sans indiquer en quoi ces faits seraient pertinents et en quoi ils auraient dû avoir une influence sur l'interprétation objective de l'acte constitutif de la servitude, à laquelle le juge cantonal a procédé.
8. Sur le vu de ce qui précède, le grief de violation du droit à une décision motivée (art. 29 al. 2 Cst.) est manifestement infondé. A cet égard, les recourants se limitent d'ailleurs à reformuler leur grief de violation des art. 737 et 738 CC, invoquant que l'examen sous l'angle de l'art. 738 CC est lacunaire, que le juge ne s'est pas prononcé sur tous les aspects relatifs à l'art. 738 CC et que lorsqu'il a utilisé l'art. 738 CC pour interpréter le contrat, il n'a énoncé que très peu de motifs qui ont guidé son interprétation.
9. En définitive, le recours doit être rejeté dans la mesure où il est recevable, aux frais de leurs auteurs (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis solidairement à la charge des recourants.
3. Le présent arrêt est communiqué aux parties et à la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 18 janvier 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Hohl Richard