Faits :
A.
Une autorisation de construire un chalet sur la parcelle n° 19'683 de la commune d'Orsières a été délivrée à B._ par décision du 28 novembre 2006, confirmée sur recours de A._, propriétaire de la parcelle voisine, par un prononcé du 17 octobre 2007 du Conseil d'État valaisan. Ce prononcé ajoutait au permis de construire une clause accessoire.
Le 12 septembre 2012, B._ a déposé une nouvelle demande d'autorisation de construire pour sa parcelle n° 19'683. La requête a été publiée le 2 novembre 2012 sous l'intitulé "modification des plans du chalet autorisé le 28 novembre 2006". L'autorisation a été délivrée le 5 décembre 2012.
Le 8 août 2015, A._ a invité le Service communal des constructions à le renseigner, d'une part, sur une éventuelle révocation de l'autorisation de construire du 5 décembre 2012, voire sur une éventuelle interdiction de la poursuite des travaux, et, d'autre part, sur les modalités envisagées pour remédier aux irrégularités qu'il constatait ainsi que sur la nécessité d'une nouvelle enquête publique destinée à préserver son droit d'être entendu. Ce courrier étant resté sans réponse, le 2 septembre 2015, A._ a saisi le Conseil d'État d'une plainte contre le Conseil communal.
B.
Le Conseil d'État a rejeté cette plainte le 25 novembre 2015. Saisie d'un recours de l'intéressé, la Cour de droit public du Tribunal cantonal du Valais a confirmé cette décision par arrêt du 26 février 2016.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt cantonal et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Subsidiairement, il demande la réforme de l'arrêt cantonal en ce sens que l'autorisation de construire du 12 [ recte 5] décembre 2012 est annulée.
La cour cantonale et le Conseil d'Etat renoncent à se déterminer. La commune d'Orsières conclut à l'irrecevabilité du recours, subsidiairement à son rejet.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>), le recours est en principe recevable, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recours a été déposé dans le délai prescrit (<ref-law>) si bien qu'il y a lieu d'entrer en matière.
2.
Dans son écriture, le recourant présente son propre état de fait, sans toutefois exposer en quoi celui de l'arrêt attaqué aurait été établi de manière manifestement inexacte ou en violation du droit au sens de l'<ref-law>, ni en quoi la correction du vice serait susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral ne prend dès lors pas en considération la version présentée par le recourant et s'en tient à l'état de fait de l'arrêt cantonal.
3.
Le recourant se plaint de ce que l'arrêt attaqué serait arbitraire tant dans sa motivation que dans son résultat s'agissant de l'application de l'art. 37 let. b de la loi valaisanne du 8 février 1996 sur les constructions (LC; RS VS 705.1). Cette disposition prescrit que la publication pour mise à l'enquête doit notamment contenir l'indication de la nature du projet. Le recourant affirme qu'il n'a pas pu s'opposer en temps utile au projet de construction en raison de l'intitulé erroné de l'avis d'enquête publique. Il en résulterait par ailleurs une violation de son droit d'être entendu.
3.1. Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal et communal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.1 p. 168; <ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379).
3.2. La cour cantonale a rappelé sa jurisprudence selon laquelle le voisin dissuadé de former opposition en raison d'erreurs commises par l'autorité dans le libellé d'un avis d'enquête publique demeure légitimé à recourir contre l'autorisation; cette facilité suppose, d'une part, que le voisin ait réellement été entravé dans l'exercice de son droit d'opposition et, d'autre part, qu'il agisse sans retard dès qu'il apprend l'existence d'une autorisation de construire à laquelle il n'a pu s'opposer. Les premiers juges ont retenu que l'indication erronée n'était pas de nature à dissuader le recourant d'agir, s'il avait été attentif à l'avis d'enquête, dès lors qu'il ne pouvait ignorer que la mise à l'enquête concernait une nouvelle demande d'autorisation de construire, distincte de celle de 2006.
Avant même d'examiner s'il était arbitraire de retenir que le recourant devait savoir que la mise à l'enquête ne pouvait pas concerner l'autorisation de construire de 2006, le Tribunal fédéral constate que recourant indique lui-même n'avoir pas fait opposition à la demande de permis de construire "faute d'en avoir eu connaissance" lors de la mise à l'enquête publique, "les résidences secondaires [étant] peu fréquentées au mois de novembre en montagne, aucun de ses voisins ne l'ayant informé" (recours, p. 3). Dans ces circonstances, peu importe que l'intitulé de l'enquête publique ait erronément indiqué "modification des plans du chalet autorisé le 28 novembre 2006", alors qu'il s'agissait en réalité d'une nouvelle demande d'autorisation de construire. En effet, le motif pour lequel le recourant ne s'est pas opposé à la construction est le fait qu'il n'ait pas pris connaissance de cette mise à l'enquête, non qu'il en ait mal compris la portée. En d'autre termes, à supposer que l'intitulé ait correctement désigné l'objet de l'enquête publique, le recourant ne s'y serait pas plus opposé. Or, il ne saurait prétendre à un droit - et il n'y prétend au demeurant pas - à se voir personnellement informé d'une demande d'autorisation de construire requise pour un fond voisin au sien.
En définitive, le recourant essaie de tirer argument d'un intitulé erroné alors que ce n'est pas pour ce motif, mais faute d'avoir pris connaissance, par sa propre négligence, en temps utile de cette mise à l'enquête publique - à tout le moins pas tant que courrait le délai de recours -, qu'il a omis de faire valoir ses droits d'opposant. C'est donc à juste titre que la cour cantonale a retenu qu'il ne pouvait obtenir la restitution de son droit de recourir contre l'autorisation de construire.
Pour les mêmes motifs, l'appréciation de la cour cantonale ne consacre aucune violation du droit d'être entendu du recourant.
Seule l'éventuelle nullité de la décision peut par conséquent être constatée.
4.
Le recourant se prévaut subsidiairement de la nullité de l'autorisation de construire en raison des vices qui l'entacheraient. Il relève à cet égard qu'une fosse septique a été autorisée en dépit d'un préavis négatif du Service cantonal de la protection de l'environnement, que les plans ne prévoient aucun accès (une servitude devant en outre être constituée sur la propriété d'un tiers) ni ne précisent l'emplacement des places de parc, et que l'art. 75b Cst. rendrait le permis caduc ou sujet à révocation.
4.1.
4.1.1. La nullité absolue ne frappe que les décisions affectées des vices les plus graves, manifestes ou du moins facilement décelables, et pour autant que la constatation de la nullité ne mette pas sérieusement en danger la sécurité du droit. Hormis dans les cas expressément prévus par la loi, il n'y a lieu d'admettre la nullité qu'à titre exceptionnel, lorsque les circonstances sont telles que le système d'annulabilité n'offre manifestement pas la protection nécessaire. Des vices de fond n'entraînent qu'à de rares exceptions la nullité d'une décision; de graves vices de procédure, ainsi que l'incompétence qualifiée de l'autorité qui a rendu la décision sont des motifs de nullité (<ref-ruling> consid. 3.1 p. 503; <ref-ruling> consid. 4.4.3 p. 56; <ref-ruling> consid. 3.1 p. 275).
La présente procédure ne doit ainsi pas être l'occasion pour le recourant de se voir restituer les droits de partie auxquels il est réputé avoir renoncé en omettant de faire opposition au projet ou de recourir contre la décision d'octroi du permis (1C_128/2015 du 9 novembre 2015 consid. 4).
4.1.2. En ce qui concerne la fosse septique, s'il est évidemment critiquable d'autoriser une installation à l'encontre de l'avis exprès du service cantonal spécialisé, il ne ressort pas de l'état de fait de l'arrêt attaqué qu'un danger inacceptable, que l'on ne saurait maintenir dans la durée au point de constater la nullité de la décision l'autorisant, serait avéré. Le recourant ne démontre pas un état de fait manifestement erroné ou arbitraire à cet égard (<ref-law>).
Quant à la mention des accès et places de parc dans le plan, une telle lacune ne relève manifestement pas de la nullité, dès lors que ces questions ont a posteriori inévitablement été résolues. Il n'apparaît au demeurant pas même qu'un état de choses illicite subsisterait depuis.
Le recourant voit encore un motif de nullité dans la réserve mentionnée, dans l'autorisation de construire, des "dispositions d'application contraires découlant de l'acceptation par le peuple suisse lors de la votation du 11 mars 2012 de l'art. 75b Cst.". Il affirme que cette clause indiquerait que la commune entendait soumettre la validité de l'autorisation à l'entrée en vigueur de l'art. 75b Cst. Dès lors que le Tribunal fédéral aurait ensuite constaté que la disposition constitutionnelle est directement applicable, cet ajout dans le permis rendrait celui-ci nul et non juste annulable.
Une telle disposition a été très fréquemment insérée dans les autorisations de construire délivrées au cours de la période, non réglée par le droit transitoire, allant de l'adoption de l'initiative par le peuple, le 11 mars 2012, au 1er janvier 2013. Elle visait manifestement à attirer l'attention du bénéficiaire de l'autorisation sur l'incertitude découlant de l'interprétation à faire de la disposition constitutionnelle. Comme le relève le recourant, le Tribunal fédéral a constaté en mai 2013 que les autorisations de construire des résidences secondaires délivrées durant cette période étaient annulables, contrairement aux autorisations délivrées après le 1er janvier 2013 que le droit transitoire déclare expressément nulles (<ref-ruling>). On ne voit pas en quoi la réserve précitée aurait une incidence sur la distinction entre nullité et annulabilité de la décision. Le recourant se méprend de toute évidence la notion d'applicabilité directe de la disposition constitutionnelle, qui est sans rapport avec le caractère nul ou annulable d'une décision qui la violerait. La violation d'une disposition "directement applicable" ne signifie en effet pas que l'acte vicié soit "directement nul", en ce sens que l'acte n'aurait pas à être formellement annulé. Une simple clause dans le permis de construire réservant d'éventuelles dispositions d'application et n'évoquant absolument pas l'hypothèse de la nullité du permis ne saurait aller dans le sens que le recourant entend lui donner.
4.1.3. En résumé, les éventuelles irrégularités du projet tel qu'il a été autorisé ne relèvent pas de la nullité. Le Tribunal fédéral souligne en outre le long temps écoulé (3 ans) entre la délivrance de l'autorisation de construire et les doléances du recourant, le fait que le bénéficiaire de l'autorisation en a déjà fait usage, ainsi que l'incidence particulièrement importante d'une éventuelle constatation de la nullité (le recourant demande par ce biais la démolition d'un chalet entier érigé de bonne foi par son propriétaire, titulaire d'une autorisation de construire entrée en force).
4.2. A plus forte raison, le seul non-respect de l'art. 75b Cst., qui préserve certes un intérêt public important, mais dont les dispositions transitoires et la jurisprudence qui en découlent prévoient, comme on vient de le voir, un régime d'annulation pour la période au cours de laquelle l'autorisation a été délivrée, ne saurait justifier une révocation de dite autorisation comme le soutient pourtant le recourant.
5.
Il résulte de ce qui précède que le recours doit être rejeté, aux frais de son auteur, qui succombe (<ref-law>). La commune d'Orsières, quand bien même elle a agi par l'intermédiaire d'un avocat, n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, au représentant de la Commune d'Orsières, au Conseil d'Etat du canton du Valais et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 1 er novembre 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Sidi-Ali