A.- A._ est propriétaire de la parcelle n° XXX du cadastre de la commune d'Hérémence, dans la localité d'Euseigne. Une scierie a été construite en 1950 sur cette parcelle; son exploitation a cessé à une date indéterminée. En 1970, le toit du bâtiment a été arraché par le vent. Depuis lors, la scierie est désaffectée - il n'en reste que des vestiges - et le local principal, muni d'une couverture en plaques de tôle, a été utilisé comme dépôt de matériel agricole. Actuellement, la parcelle n° XXX est classée en zone résidentielle. B.- Le 18 juin 1998, la commission de salubrité de la commune d'Hérémence a demandé à A._ de démolir les vestiges de l'ancienne scierie et de remettre en état les lieux avant le 31 juillet 1998. Donnant partiellement suite à cette injonction, A._ a évacué les restes de maçonnerie de la scierie, ne laissant subsister que les murs du local occasionnellement utilisé comme dépôt. C.- Le 21 octobre 1998, A._ a soumis au conseil municipal d'Hérémence une demande d'autorisation de construire en vue de réparer le local précité (soubassement de l'ancienne scierie, partiellement enterré) et de le recouvrir d'une dalle en béton, afin de l'utiliser comme "réduit pour matériel et outillage". Mis à l'enquête publique, ce projet a suscité l'opposition de B._, propriétaire d'une parcelle voisine, qui dénonçait sa non-conformité à l'affectation de la zone résidentielle ainsi qu'une violation des règles relatives aux distances entre constructions et limites de propriété. Le 3 décembre 1998, le conseil municipal d'Hérémence a refusé l'autorisation de construire. D.- A._ a recouru contre la décision communale auprès du Conseil d'Etat du canton du Valais. Une inspection locale a été organisée par le service chargé de l'instruction de ce recours. Le 23 juin 1999, le Conseil d'Etat a admis le recours, annulé la décision du conseil municipal et octroyé l'autorisation de construire demandée, en considérant en substance que le propriétaire pouvait se prévaloir de la protection de la situation acquise pour transformer un bâtiment existant, conformément à l'art. 3 al. 1 de la loi cantonale sur les constructions (LC). E.- B._ a recouru au Tribunal cantonal contre le prononcé du Conseil d'Etat. Par un arrêt rendu le 28 janvier 2000, la Cour de droit public du Tribunal cantonal a admis le recours et annulé le prononcé du Conseil d'Etat. Elle a considéré que l'art. 3 LC, protégeant la situation acquise, ne pouvait pas s'appliquer dans le cas d'un immeuble démoli, délabré ou en ruine; en outre, le projet, qu'il faudrait donc traiter de la même manière qu'une construction nouvelle, contrevient à la réglementation de la zone résidentielle. F.- Agissant par la voie du recours de droit public pour violation de l'art. 9 Cst. , A._ demande au Tribunal fédéral d'annuler l'arrêt rendu par la Cour de droit public. Il prétend que la juridiction cantonale n'a pas été en mesure d'apprécier correctement les caractéristiques des éléments de l'ancienne scierie qu'il a laissé subsister. Il soutient par ailleurs que la Cour de droit public a appliqué de façon arbitraire l'art. 3 al. 1 LC en refusant d'autoriser les travaux projetés. B._ conclut au rejet du recours. Le Conseil d'Etat se détermine dans le sens de l'admission du recours. Le conseil municipal et la Cour de droit public ont renoncé à répondre au recours.