Faits : A. Une autorisation de construire un chalet sur la parcelle n° 19'683 de la commune d'Orsières a été délivrée à B._ par décision du 28 novembre 2006, confirmée sur recours de A._, propriétaire de la parcelle voisine, par un prononcé du 17 octobre 2007 du Conseil d'État valaisan. Ce prononcé ajoutait au permis de construire une clause accessoire. Le 12 septembre 2012, B._ a déposé une nouvelle demande d'autorisation de construire pour sa parcelle n° 19'683. La requête a été publiée le 2 novembre 2012 sous l'intitulé "modification des plans du chalet autorisé le 28 novembre 2006". L'autorisation a été délivrée le 5 décembre 2012. Le 8 août 2015, A._ a invité le Service communal des constructions à le renseigner, d'une part, sur une éventuelle révocation de l'autorisation de construire du 5 décembre 2012, voire sur une éventuelle interdiction de la poursuite des travaux, et, d'autre part, sur les modalités envisagées pour remédier aux irrégularités qu'il constatait ainsi que sur la nécessité d'une nouvelle enquête publique destinée à préserver son droit d'être entendu. Ce courrier étant resté sans réponse, le 2 septembre 2015, A._ a saisi le Conseil d'État d'une plainte contre le Conseil communal. B. Le Conseil d'État a rejeté cette plainte le 25 novembre 2015. Saisie d'un recours de l'intéressé, la Cour de droit public du Tribunal cantonal du Valais a confirmé cette décision par arrêt du 26 février 2016. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt cantonal et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Subsidiairement, il demande la réforme de l'arrêt cantonal en ce sens que l'autorisation de construire du 12 [ recte 5] décembre 2012 est annulée. La cour cantonale et le Conseil d'Etat renoncent à se déterminer. La commune d'Orsières conclut à l'irrecevabilité du recours, subsidiairement à son rejet.