Faits:
A. B._ est propriétaire de la parcelle n° 185 du registre foncier de la commune de Bagnes. Ce bien-fonds, qui supporte un chalet de 116 m2, est sis dans la station de Verbier en zone touristique forte densité T2 au sens des art. 106 et 97 du règlement communal de construction approuvé par le Conseil d'Etat du canton du Valais le 25 juin 2003. Le 18 novembre 2009, B._ a obtenu l'autorisation d'agrandir son chalet, portant sur le rez supérieur, l'étage et les combles.
Au cours des travaux, il a été décidé, à la suite d'une analyse sismique, de démolir et de reconstruire le garage existant du côté rez inférieur est ainsi que l'annexe construits en 1979.
Le 1er septembre 2011, B._ a requis l'autorisation de modifier le projet d'agrandissement précité, essentiellement sur le rez inférieur (agrandissement du garage au nord-est, local à skis, mur accompagnant la terrasse et accès à l'est). Soumis à enquête publique complémentaire le 16 septembre 2011, ce projet a suscité en particulier l'opposition de A._ et consorts, propriétaires d'appartements en PPE sur un bien-fonds contigu. Dans ses observations du 20 octobre 2011, B._ a notamment admis que le maçon avait commis une erreur d'implantation de 4 cm dans la reconstruction de l'annexe nord à l'occasion de la mise en conformité de la construction aux normes antisismiques. Par décision du 23 décembre 2011, le Conseil communal de Bagnes a délivré le permis de construire sollicité et levé les oppositions.
B. A._ et consorts ont recouru contre cette décision auprès du Conseil d'Etat du canton du Valais qui a admis partiellement le recours, par arrêt du 25 avril 2012. Il a confirmé la décision du 23 décembre 2011 en ce qu'elle concernait les plans du premier étage et les combles. En revanche, il a annulé cette décision pour les autres transformations, notamment pour le mur latéral d'accès au garage, le nouvel escalier d'accès à l'est et la nouvelle terrasse au rez supérieur.
Le recours interjeté par A._ et consorts contre cette décision auprès de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a été rejeté, par arrêt du 9 novembre 2012.
C. Agissant par la voie du recours en matière de droit public, A._ et consorts demandent au Tribunal fédéral d'annuler l'arrêt du 9 novembre 2012 et de renvoyer la cause à l'instance précédente pour qu'elle ordonne "un transport sur place, une expertise par un géomètre neutre et indépendant ainsi qu'une expertise visant à analyser si le propriétaire de la parcelle n° 185 pouvait respecter les normes antisismiques tout en conservant le même gabarit".
Le Tribunal cantonal et le Conseil d'Etat renoncent à se déterminer. La commune de Bagnes et B._ concluent au rejet du recours. Les recourants ont répliqué par courrier du 28 février 2013.
Par ordonnance du 14 février 2013, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif, présentée par les recourants.

Considérant en droit:
1. Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 lit. d LTF) dans le domaine du droit public des constructions (art. 82 lit. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. En tant que propriétaires d'appartements en PPE sis sur une parcelle directement voisine du projet, ils sont particulièrement touchés par l'arrêt attaqué confirmant l'octroi d'un permis de construire pour un projet de construction qu'ils tiennent en particulier pour non conforme au règlement communal. Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Ils ont dès lors qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière.
2. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, les recourants voient une violation de leur droit d'être entendus, garanti par l'art. 29 al. 2 Cst., dans le refus du Tribunal cantonal de donner suite à leurs requêtes d'inspection locale, d'expertise par un spécialiste des normes sismiques ainsi qu'à leur demande d'intervention d'un géomètre "neutre et indépendant". Ils se plaignent également d'une application arbitraire de l'art. 17 al. 2 de la loi cantonale sur la procédure et la juridiction administratives du 6 octobre 1976 (LPJA; RS/VS 172.6). Ces griefs se confondent et doivent être examinés ensemble.
2.1 Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé d'offrir des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.1 p. 293). Toutefois, le droit d'être entendu ne peut être exercé que sur les éléments qui sont déterminants pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes, lorsque le fait dont les parties veulent rapporter l'authenticité n'est pas important pour la solution du cas, lorsque les preuves résultent déjà de constatations versées au dossier ou lorsque le juge parvient à la conclusion qu'elles ne sont pas décisives pour la solution du litige ou qu'elles ne pourraient l'amener à modifier son opinion. Ce refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 3 p. 157; sur la notion d'arbitraire: <ref-ruling> consid. 4.1.2 p. 62).
A teneur de l'art. 17 al. 2 LPJA, les parties ont le droit de participer à la procédure probatoire et de présenter leurs moyens de preuve. Ceux-ci seront pris en considération dans la mesure où ils paraissent propres à favoriser l'établissement des faits.
2.2 En l'espèce, le Tribunal cantonal a rejeté la proposition d'inspecter les lieux, au motif que le dossier comprenait de nombreux plans très détaillés et des photographies aux divers stades de la réalisation des travaux. Les recourants se contentent d'avancer qu'une visite des lieux s'impose en raison de nombreuses irrégularités constatées sur le chantier "pour se rendre compte sur place des travaux de construction déjà exécutés". Ils n'étayent cependant leur allégation par aucune pièce, ne précisent pas quels travaux auraient déjà été exécutés et n'expliquent pas en quoi le refus de la cour cantonale serait constitutif d'arbitraire. En tout état de cause, le raisonnement précité des juges cantonaux échappe à la critique. Il apparaît en particulier que le dossier contient des plans et photographies en suffisance. Le Tribunal cantonal pouvait donc, sans violer le droit d'être entendu des intéressés, renoncer à procéder à une inspection locale.
Quant à la requête d'intervention d'un géomètre "neutre et indépendant", le Tribunal cantonal l'a rejetée au motif que les relevés du géomètre officiel et de X._ étaient probants. Les recourants n'expliquent pas en quoi cette constatation serait constitutive d'arbitraire. Ils se bornent à faire valoir une divergence de distance mesurée entre le corps principal du bâtiment et la limite avec la parcelle n° 185, suivant le plan soumis à l'enquête le 31 juillet 2009 (5 m 53), celui du projet modifié soumis à l'enquête le 16 septembre 2011 (5 m 49) et les mesures qu'ils ont effectuées eux-mêmes (5 m 40). Ils affirment, sans le démontrer, que la détermination exacte de la distance à la limite aurait un impact sur la hauteur de la construction. Partant, ils ne contestent pas que la distance minimale à la limite de 5 m prévue à l'art. 97c RCC est de toute manière respectée, ce qui rend cet élément sans incidence sur l'issue du litige. Fût-il recevable, ce grief devrait être rejeté.
Les recourants ont encore requis une expertise par un spécialiste des normes sismiques. Ils avancent que l'expertise privée produite par l'intimé "ne saurait convaincre une autorité judiciaire sans autres actes d'instruction" et "porte sur des aspects très techniques qui nécessitent que le juge ordonne lui-même l'assistance d'un expert neutre et indépendant qui pourra, cas échéant, venir expliquer au tribunal et aux parties le contenu de son rapport". Ils n'expliquent cependant pas en quoi une nouvelle expertise permettrait de conserver le même gabarit. Ils ne démontrent pas non plus que le Tribunal cantonal aurait procédé à une appréciation anticipée des preuves entachée d'arbitraire en renonçant à administrer la preuve requise, ce d'autant moins que la différence - de 4 cm sur 24.5 cm - semble minime (cf. infra consid. 3.2).
3. Sur le fond, les recourants dénoncent une application arbitraire de l'art. 87 du règlement communal.
3.1 Appelé à revoir l'interprétation d'une norme communale sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible (<ref-ruling> consid. 2.4 p. 5). En outre, pour qu'une décision soit annulée au titre de l'arbitraire, il ne suffit pas qu'elle se fonde sur une motivation insoutenable; encore faut-il qu'elle apparaisse arbitraire dans son résultat (<ref-ruling> consid. 4 p. 560).
L'art. 87 let. a RCC prévoit que des dérogations aux distances prescrites peuvent être admises pour les transformations et changements d'affectation de constructions caractéristiques. La lettre b de cet article impose différentes conditions, dont la sauvegarde du caractère architectural du bâtiment et l'absence de modification du gabarit existant.
3.2 En l'espèce, l'implantation de l'annexe nord construite en 1979 se trouvait à une distance de 4 m 72 de la limite de la parcelle n° 184. Lors de la reconstruction de cette annexe, la distance à la limite s'est trouvée réduite à 4 m 68. A cet égard, la cour cantonale a retenu que l'écart de 4 cm constaté sur une largeur maximale de 24,5 cm ne présentait aucune importance pour l'examen de la conservation du gabarit de cet angle admis dans les plans de 2009, compte tenu du contexte dans lequel la réglementation favorise le bâti existant. Elle a ajouté que cette différence de 4 cm n'apportait ni avantage au constructeur, ni gêne au voisinage. Elle en a déduit qu'elle ne pouvait pas entraîner de refus d'autorisation de construire. Les recourants ne parviennent pas à démontrer l'arbitraire de ce raisonnement. En effet, il n'est pas insoutenable au sens de la jurisprudence susmentionnée de considérer qu'une différence de 4 cm - qui de surcroît semble être la conséquence d'une erreur involontaire du constructeur - ne puisse entraîner un refus d'autorisation de construire, alors que les recourants ne se plaignent d'aucune gêne résultant de cet écart.
Mal fondé, le grief doit être écarté, dans la faible mesure de sa recevabilité.
4. Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité. Les frais judiciaires sont mis à la charge des recourants qui succombent (art. 65 et 66 LTF). Ils verseront en outre des dépens à l'intimé qui obtient gain de cause avec l'aide d'un avocat (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge des recourants.
3. Une indemnité de 3'000 francs est allouée à B._ à titre de dépens, à la charge des recourants.
4. Le présent arrêt est communiqué aux mandataires des parties, à la commune de Bagnes, au Conseil d'Etat et à la Cour de droit public du Tribunal cantonal du canton du Valais.
Lausanne, le 24 avril 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller