Faits: A. B._ est propriétaire de la parcelle n° 185 du registre foncier de la commune de Bagnes. Ce bien-fonds, qui supporte un chalet de 116 m2, est sis dans la station de Verbier en zone touristique forte densité T2 au sens des art. 106 et 97 du règlement communal de construction approuvé par le Conseil d'Etat du canton du Valais le 25 juin 2003. Le 18 novembre 2009, B._ a obtenu l'autorisation d'agrandir son chalet, portant sur le rez supérieur, l'étage et les combles. Au cours des travaux, il a été décidé, à la suite d'une analyse sismique, de démolir et de reconstruire le garage existant du côté rez inférieur est ainsi que l'annexe construits en 1979. Le 1er septembre 2011, B._ a requis l'autorisation de modifier le projet d'agrandissement précité, essentiellement sur le rez inférieur (agrandissement du garage au nord-est, local à skis, mur accompagnant la terrasse et accès à l'est). Soumis à enquête publique complémentaire le 16 septembre 2011, ce projet a suscité en particulier l'opposition de A._ et consorts, propriétaires d'appartements en PPE sur un bien-fonds contigu. Dans ses observations du 20 octobre 2011, B._ a notamment admis que le maçon avait commis une erreur d'implantation de 4 cm dans la reconstruction de l'annexe nord à l'occasion de la mise en conformité de la construction aux normes antisismiques. Par décision du 23 décembre 2011, le Conseil communal de Bagnes a délivré le permis de construire sollicité et levé les oppositions. B. A._ et consorts ont recouru contre cette décision auprès du Conseil d'Etat du canton du Valais qui a admis partiellement le recours, par arrêt du 25 avril 2012. Il a confirmé la décision du 23 décembre 2011 en ce qu'elle concernait les plans du premier étage et les combles. En revanche, il a annulé cette décision pour les autres transformations, notamment pour le mur latéral d'accès au garage, le nouvel escalier d'accès à l'est et la nouvelle terrasse au rez supérieur. Le recours interjeté par A._ et consorts contre cette décision auprès de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a été rejeté, par arrêt du 9 novembre 2012. C. Agissant par la voie du recours en matière de droit public, A._ et consorts demandent au Tribunal fédéral d'annuler l'arrêt du 9 novembre 2012 et de renvoyer la cause à l'instance précédente pour qu'elle ordonne "un transport sur place, une expertise par un géomètre neutre et indépendant ainsi qu'une expertise visant à analyser si le propriétaire de la parcelle n° 185 pouvait respecter les normes antisismiques tout en conservant le même gabarit". Le Tribunal cantonal et le Conseil d'Etat renoncent à se déterminer. La commune de Bagnes et B._ concluent au rejet du recours. Les recourants ont répliqué par courrier du 28 février 2013. Par ordonnance du 14 février 2013, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif, présentée par les recourants.