Faits : A. B._ et A._ sont copropriétaires de la parcelle n° 965 contiguë au chemin de la Morintse à Verbier; ce dernier sert d'accès à la limite ouest de dite parcelle. D'une surface de 654 m 2, ce bien-fonds est colloqué en zone touristique de moyenne densité T3, selon le plan d'affectation des zones (PAZ) et le règlement communal de construction (ci-après: RCC) adoptés par le Conseil général de Bagnes, le 23 octobre 2000, et approuvés par le Conseil d'Etat du canton du Valais, les 6 février 2002 et 25 juin 2003; il supporte, selon les données cadastrales, un bâtiment d'habitation d'une surface de 61 m 2. Au mois de février 2012, la Commune de Bagnes a mis à l'enquête le réaménagement et la réfection du chemin de la Morintse; il s'agissait également d'acquérir les portions de cet ouvrage se trouvant en mains privées dans l'optique de réactualiser la situation cadastrale. La réalisation de ce projet nécessite notamment une emprise de 40 m 2 sur la parcelle n° 965. Le 5 mars 2014, le Conseil d'Etat a approuvé les plans d'exécution, déclaré les travaux d'intérêt public et rejeté les oppositions formées en cours d'enquête. Cette décision a été confirmée le 3 octobre 2014 par la Cour de droit public du Tribunal cantonal du Valais. B. Par décisions séparées du 8 octobre 2015, la Commission d'estimation du canton du Valais (ci-après: la commission d'estimation) a fixé à 1'700 fr. le mètre carré l'indemnité d'expropriation pour la parcelle n° 965, montant réduit à 850 fr. le mètre carré en cas de report de densité. Le 13 novembre 2015, B._ et A._ ont recouru séparément contre ces décisions devant la Cour de droit public. Se fondant notamment sur une estimation immobilière privée effectuée le 31 janvier 2012, les recourants ont conclu à l'allocation d'une indemnité d'expropriation de 3'600 fr./m 2, ramenée à 1'800 fr./m 2en cas de report de densité. Après avoir joint les causes, le Tribunal cantonal a rejeté les recours, par arrêt du 24 mars 2016. L'instance précédente a en substance jugé que le droit d'être entendus des recourants n'avait pas intégralement été respecté, la commission d'estimation leur ayant refusé l'accès à la liste des transactions immobilières comparatives sur laquelle elle s'était fondée pour fixer l'indemnité d'expropriation. Le Tribunal cantonal a néanmoins jugé que ce vice avait pu être réparé en instance de recours, les intéressés ayant pu se déterminer sur cette liste au stade de la réplique. Sur le fond, la cour cantonale a estimé que la surface expropriée ne revêtait pas la valeur d'un terrain constructible, celle-ci, située à l'intérieur de l'alignement routier, étant occupée par le tracé actuel de la chaussée; elle a par ailleurs tenu compte du faible taux d'occupation de la parcelle (9 à 10%) et de l'emprise restreinte de la surface expropriée (1/16 e de la surface totale) pour confirmer l'indemnité de 1'700 fr./m 2. Le Tribunal cantonal a néanmoins remarqué que ce montant paraissait avantager les recourants au regard des circonstances. C. Agissant par la voie du recours en matière de droit public, B._ et A._ demandent au Tribunal fédéral d'annuler l'arrêt attaqué et de renvoyer la cause à l'autorité précédente pour instruction complémentaire et nouvelle décision dans le sens des considérants. La cour cantonale, de même que la commission d'estimation, ont renoncé à se déterminer. La Commune de Bagnes se réfère à l'arrêt attaqué et conclut au rejet du recours, en relevant qu'elle a renoncé à un appel à contribution.