A.- G._ et son épouse C._ (ci-après: les époux G._) sont copropriétaires de la parcelle n° 577 du cadastre de la commune de Bagnes, à Verbier. Cette parcelle est classée dans la zone chalets ("T4", zone touristique faible densité), dont le régime est défini par le règlement communal de construction de Verbier-Station (RCC), adopté par le conseil général de Bagnes le 14 juin 1996 et homologué par le Conseil d'Etat du canton du Valais le 16 septembre 1998. Un chalet se trouve sur la parcelle n° 577, que les époux G._ ont prévu de transformer et d'agrandir. Ce projet consiste en l'adjonction au volume du chalet existant, en aval, d'une annexe supportant un balcon ainsi que d'un autre corps de bâtiment relié au reste de l'immeuble par une partie souterraine destinée à l'aménagement d'une piscine (bassin, douches et hammam) avec, en surface, une terrasse; la volumétrie et trois des façades de la partie existante demeurent inchangées, les modifications extérieures ne concernant que la façade aval. Quelques transformations intérieures sont également prévues, la disposition des pièces n'étant pour l'essentiel pas modifiée. Les époux G._ ont déposé une demande d'autorisation de construire et leur projet a été mis à l'enquête publique en janvier 2000. S._, propriétaire de deux biens-fonds voisins de la parcelle n° 577, a formé opposition. Le 26 mai 2000, le Conseil municipal de Bagnes a délivré aux époux G._ l'autorisation requise, en rejetant l'opposition de S._. B.- S._ a recouru contre la décision communale auprès du Conseil d'Etat. Cette autorité a rejeté le recours par un prononcé rendu le 31 janvier 2001. La contestation portait en particulier sur l'application des règles communales concernant les distances entre bâtiments et limites de propriété, d'une part, et la densité des constructions, d'autre part. Le Conseil d'Etat a considéré, en substance, que le projet litigieux respectait ces exigences: à propos des distances aux limites, de 5 m au minimum (selon l'art. 97c RCC), seule une partie du chalet existant contrevenait à la règle, mais les propriétaires pouvaient alors se prévaloir des "droits acquis" conformément à l'art. 3 de la loi cantonale sur les constructions, du 8 février 1996 (LC); quant à la densité, l'indice d'utilisation maximum de 0.25 (également selon l'art. 97c RCC) ne serait pas dépassé après l'agrandissement. C.- S._ a recouru derechef auprès du Tribunal cantonal. Par un arrêt rendu le 29 juin 2001, la Cour de droit public a admis le recours et annulé la décision attaquée, en mettant à la charge de G._ un émolument de justice ainsi que des dépens à verser à S._. Elle a critiqué le calcul de l'indice d'utilisation du sol, tel qu'il avait été effectué par le Conseil d'Etat sur la base d'une analyse du Service cantonal de l'aménagement du territoire (surface brute de plancher utile après transformations de 221, 93 m2, la limite étant de 250 m2 en raison de la surface de la parcelle): selon la Cour cantonale, il aurait encore fallu tenir compte de l'importante surface de la piscine et du hammam, et conclure ainsi au dépassement de l'indice maximal. La Cour cantonale a reproché au Conseil d'Etat d'avoir calculé la densité selon les normes du règlement communal (RCC) - qui exclut de la surface brute de plancher les saunas, salles de jeu et carnotzets en sous-sol ainsi que les piscines, à quelque niveau qu'elles se trouvent (art. 90 RCC) - alors qu'il aurait dû appliquer directement la législation cantonale, en l'occurrence une définition de l'indice d'utilisation figurant dans le glossaire annexé à l'ordonnance sur les constructions du 2 octobre 1996 (OC), qui inclurait les surfaces précitées dans le total de la surface brute de plancher utile. D'après l'arrêt du Tribunal cantonal, cette application directe du droit cantonal s'imposerait, la commune de Bagnes n'ayant pas adapté en temps utile - à savoir dans les délais fixés à l'art. 59 LC - sa réglementation aux nouvelles prescriptions de la loi sur les constructions (LC), entrée en vigueur le 1er janvier 1997. D.- Agissant par la voie du recours de droit public, les époux G._ demandent au Tribunal fédéral d'annuler l'arrêt de la Cour de droit public. Ils se plaignent d'une violation de la garantie de la propriété (art. 26 Cst.), d'une application arbitraire (art. 9 Cst.) de l'art. 59 LC ainsi que de l'ordonnance cantonale sur les constructions, et enfin d'une violation de l'autonomie communale (art. 50 Cst.). S._ conclut au rejet du recours. La commune de Bagnes adhère aux conclusions des recourants. Le Conseil d'Etat et le Tribunal cantonal ont renoncé à se déterminer sur le recours. E.- Par ordonnance du 28 septembre 2001, le Président de la Ie Cour de droit public a admis la demande d'effet suspensif concernant les frais et dépens présentée par les recourants.