Faits: A. Par avis publié au Bulletin officiel du canton du Valais le 13 juillet 2012, l'administration communale de Bagnes a mis à l'enquête publique la demande déposée par C._ pour "la démolition et la reconstruction d'une habitation avec agrandissement, parking enterré et création de forages géothermiques sur les parcelles n° 2150, 2151, 2154 [du registre foncier communal] (Projet selon art. 3 et 30 LC) ". Cette publication mentionnait un délai de 30 jours pour former opposition. Le Conseil communal de Bagnes a délivré l'autorisation de construire sollicitée et rejeté l'opposition qui avait été formée, par décision du 31 août 2012. Le 4 septembre 2012, A._ et B._, propriétaires de la parcelle voisine n° 3295, ont déclaré faire opposition à ce projet, affirmant que le délai légal y relatif de 30 jours pour ce faire partait de la pose des gabarits entre les 20 et 23 août 2012, au lieu du jour de la publication dans le Bulletin officiel. Par décision du 2 octobre 2012, le Conseil communal de Bagnes a déclaré l'opposition irrecevable pour cause de tardiveté. Le Conseil d'Etat du canton du Valais a rejeté le recours formé par les intéressés contre la décision communale d'irrecevabilité, par décision du 28 novembre 2012. A._ et B._ ont interjeté recours contre cette décision auprès de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), qui l'a rejeté en tant que recevable, par arrêt du 28 mars 2013. Elle a considéré en substance que la publication dans le Bulletin officiel était conforme à l'art. 37 de la loi cantonale sur les constructions du 8 février 1996 (LC; RSVS 705.1). B. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent principalement au Tribunal fédéral de réformer l'arrêt du 28 mars 2013 en ce sens que le permis de démolir et de construire délivré le 31 août 2012 est nul, subsidiairement annulé. A titre subsidiaire, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. Invités à déposer des observations, le Tribunal cantonal et le Conseil d'Etat valaisan renoncent à se déterminer, alors que la Commune de Bagnes et l'intimé concluent au rejet du recours. Les recourants ont renoncé à répliquer. Par ordonnance du 23 mai 2013, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par les recourants.