Faits :
A.
B.B._ et C.B._ sont propriétaires depuis 2010 de la parcelle n° 6887 du cadastre de la commune du Landeron, située dans le périmètre du plan spécial du Bourg et affectée à la zone nouveaux jardins "NJ", elle-même intégrée à la zone de vignes et de grèves du décret de 1966 concernant la protection des sites naturels du canton. Le 6 mai 2012, ils ont déposé une demande de permis de construire portant sur la fermeture de façade d'un hangar existant. Dans le cadre de cette demande, préavisée favorablement par le conseil communal et la commission spéciale du Bourg, le Service de l'aménagement du territoire (SAT) a constaté la présence sur cette parcelle d'une pergola qui n'avait jamais été autorisée et qui devait être démolie. Cette pergola avait en effet été construite en 1988 sans autorisation par les précédents propriétaires, lesquels n'avaient pas exécuté l'ordre de remise en état du terrain donné le 10 octobre 1994 par le Département de la gestion du territoire (actuellement, Département du développement territorial et de l'environnement [DDTE]) qui avait refusé a posteriori d'approuver la dérogation nécessaire à la construction de la pergola. Le chef de ce département avait par la suite en février 1996 informé le Conseil communal que "compte tenu de la situation existant sur cette parcelle et du faible impact de cette pergola, nous renonçons quant à nous à une démolition par substitution"; il avait ajouté qu'il était préférable de ne pas en informer les intéressés, cette installation n'étant que provisoirement tolérée mais qu'il devrait être avisé de tout agrandissement ou de toute transformation de cette pergola (cf. courrier du 19 février 1996).
Exerçant leur droit d'être entendus, B.B._ et C.B._ ont fait valoir que le droit d'ordonner cette démolition était non seulement périmé mais aussi contraire au principe de la bonne foi. Par décision du 2 octobre 2013, le DDTE a notamment constaté que la pergola était illicite et qu'elle ne pouvait pas être légalisée a posteriori; vu la tolérance dont elle avait bénéficié, il a toutefois renoncé à ordonner sa démolition (ch. 4 du dispositif).
Le 15 janvier 2014, A._, propriétaire du bien-fonds n° 7637 contigu à celui de B.B._ et C.B._, a saisi le Conseil d'Etat d'un recours contre cette décision en tant que le DDTE renonçait à ordonner la démolition de la pergola. Dans le cadre de l'instruction de ce recours, une vision locale a été organisée le 25 juin 2014, à l'occasion de laquelle il est apparu que les époux B._ avaient remplacé le toit de la pergola. Sur la base de ce constat, le DDTE a en date du 16 juillet 2014, reconsidéré le chiffre 4 du dispositif de sa décision et a ordonné la démolition de la pergola. Par décision du 19 janvier 2015, le Conseil d'Etat a pris acte de cette reconsidération et a classé le recours de A._. Le même jour, le Conseil d'Etat a rejeté le recours des époux B._ interjeté contre les chiffres 1 à 3 et 5 à 7 du dispositif de la décision du 2 octobre 2013, puis contre le chiffre 4 reconsidéré. Sur ce point, il a notamment rappelé que la pergola avait été érigée illégalement, qu'elle avait fait l'objet d'un ordre de démolition qui n'avait jamais été exécuté, qu'elle ne pouvait donc subsister qu'en l'état, qu'en la rénovant, les recourants avaient pérennisé une situation contrevenant aux normes applicables à la zone et que sa démolition était proportionnée.
B.
Par arrêt du 31 mars 2016, la Cour de droit public du Tribunal cantonal neuchâtelois a admis le recours interjeté par les époux B._ et a réformé la décision du Conseil d'Etat du 19 janvier 2015 en ce sens que la décision du DDTE du 2 octobre 2013 en tant qu'elle renonce à ordonner la démolition de la pergola est confirmée.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 31 mars 2016 et d'ordonner la démolition de la pergola litigieuse, subsidiairement d'annuler l'arrêt cantonal et de renvoyer la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
La cour cantonale se réfère aux considérants de l'arrêt attaqué et conclut au rejet du recours. Le DDTE conclut à l'admission du recours. Le Service juridique du Conseil d'Etat s'en remet à justice. La Commune s'en remet aux décisions et préavis du SAT s'agissant d'une construction hors zone à bâtir. Dans leur réponse, les intimés concluent au rejet du recours pour autant qu'il soit recevable.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
Le recourant a pris part à la procédure de recours devant le Tribunal cantonal. Il est particulièrement touché par l'arrêt attaqué qui annule l'ordre de démolition de la pergola érigée illégalement sur la parcelle contiguë à la sienne et qui met à sa charge les frais de la procédure cantonale. Il a donc qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité du recours en matière de droit public sont réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
Dans l'arrêt entrepris le Tribunal cantonal a considéré que l'ordre de démolition de la pergola contenu dans la décision du DDTE du 2 octobre 2013 (ch. 4 du dispositif, avant sa reconsidération en juillet 2014) ne constituait pas un prononcé susceptible de recours - au motif qu'il ne s'agissait que d'une confirmation des décisions prises 19, respectivement 17 ans auparavant -, de sorte que le Conseil d'Etat aurait dû déclarer irrecevable le recours interjeté par le voisin recourant. Cette appréciation apparaît douteuse. En effet, le courrier du 19 février 1996 du Département à la Commune informant cette dernière qu'elle renonçait à démolir la pergola par substitution et qu'elle la tolérait ainsi provisoirement, ne saurait constituer une décision. En outre, la décision du DDTE du 2 octobre 2013 de renoncer à la démolition de la pergola est intervenue en raison des travaux réalisés sur celle-ci en 2012. Quoi qu'il en soit, cette question peut rester indécise puisque, mal fondé, le recours aurait de toute façon dû être rejeté, au vu des considérants qui suivent.
2.
Le recourant fait grief à l'instance précédente d'avoir considéré que l'autorité compétente était déchue de son droit d'ordonner la démolition de la pergola litigieuse. Il invoque en particulier une violation des art. 75 Cst., 17 al. 1 let. c, 22 et 24 LAT, ainsi que l'art. 63 al. 2 de la loi cantonale sur l'aménagement du territoire du 21 août 1991 (LCAT; RS/NE 701.0).
2.1. Les griefs de violation des droits fondamentaux sont soumis à des exigences de motivation accrues (<ref-law>). La partie recourante doit alors mentionner les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ces principes auraient été violés (<ref-ruling> consid. 2.2 p. 232; <ref-ruling> consid. 2.8 p. 494). En l'occurrence, tels qu'ils sont formulés, les griefs tirés de la violation des 75 Cst. et 63 al. 2 LCAT invoqués par le recourant sont irrecevables. En effet, outre le fait que celui-ci ne soulève pas le grief d'application arbitraire du droit cantonal (art. 9 Cst.) en lien avec l'art. 63 LCAT, il ne présente aucune argumentation répondant aux exigences de motivation accrues prévues par l'<ref-law>.
2.2. Selon la jurisprudence, la compétence d'exiger la démolition d'une installation pour rétablir une situation conforme au droit est soumise en principe à un délai de péremption de trente ans. Exceptionnellement, cette compétence peut être exercée au-delà du délai en question si des motifs de police au sens strict imposent une telle mesure. Inversement, l'autorité peut en être déchue avant l'écoulement des trente ans lorsque le principe de la confiance le commande. C'est notamment le cas lorsque l'autorité compétente a toléré pendant des années un état dont elle connaissait ou aurait dû connaître l'illégalité; cependant seul celui qui a agi de bonne foi peut y prétendre (cf. <ref-ruling> consid. 7; arrêts 1C_726/2013 du 24 novembre 2014 consid. 4 et 1C_318/2013 du 10 décembre 2013 consid. 4.1.2 publié in SJ 2014 I 280 et les références citées).
Par ailleurs, le propriétaire d'une construction érigée illégalement hors de la zone à bâtir, qui doit être tolérée en vertu de la protection de la bonne foi, peut entretenir celle-ci pour autant que les travaux nécessaires ne requièrent pas d'autorisation. Il ne peut en revanche pas prétendre la rénover, la transformer partiellement, l'agrandir ou la reconstruire (cf. arrêt 1A.17/2004 du 19 mai 2004 consid. 2 publié in ZBl 106/2005 p. 384 avec une note d'Arnold Marti; arrêt 1C_514/2011 du 6 juin 2012 consid. 5.4; RUDOLF MUGGLI, Commentaire LAT, 2010, n. 11 s. ad art. 24c LAT et les références). Une construction illégale détruite volontairement ou accidentellement ne peut être rebâtie (cf. arrêt 1C_486/2015 du 24 mai 2016 consid. 2.1.2).
2.3. Selon l'arrêt entrepris, la pergola a été construite en 1988, de sorte que le droit d'en exiger la démolition n'est en principe pas périmé. Toutefois, le Tribunal cantonal a considéré que bien que le Département compétent ait ordonné la démolition et qu'il ait sommé à deux reprises les propriétaires précédents de s'exécuter, il a finalement sciemment renoncé à la démolition de cet ouvrage, sans en informer les intéressés, se contentant de demander à la Commune de l'aviser de tout agrandissement ou toute transformation. L'autorité compétente a ainsi toléré en toute connaissance de cause cette pergola et lui a donné une apparence de conformité au droit. Le Tribunal cantonal a dès lors considéré que les intimés, propriétaires de la parcelle depuis 2010, pouvaient de bonne foi se croire autorisés à procéder à la rénovation du toit qui s'était affaissé; les travaux entrepris ne pouvaient selon l'instance précédente être assimilés à une reconstruction totale de la pergola.
Le recourant critique de manière assez confuse cette appréciation. Il invoque, d'une part, la mauvaise foi des intimés qui ne pouvaient ignorer que la rénovation du toit de la pergola nécessitait une autorisation de construire puisqu'ils en avaient sollicité une en 2005 pour la réfection d'un couvert située dans la même zone et en 2012 pour d'autres travaux. Il affirme, d'autre part, que les travaux réalisés ne constituent pas des travaux d'entretien mais une transformation partielle de l'ouvrage. Pour ces motifs, l'instance précédente aurait à tort considéré que l'autorité compétente était déchue de son droit d'ordonner la démolition de la pergola litigieuse.
Les arguments invoqués par le recourant ne permettent cependant pas de remettre en cause l'appréciation de l'instance précédente. Tout d'abord, contrairement à ce qu'il semble soutenir, cette dernière n'a pas considéré que "la situation était conforme au droit ni que l'écoulement du temps a transformé un état de fait illicite en licite". Elle a seulement estimé que, compte tenu des circonstances du cas d'espèce, le droit de demander la démolition de la pergola était périmé. En l'occurrence, il n'est pas contesté que les intimés ignoraient que la pergola édifiée par les précédents propriétaires était illégale. On ne saurait en particulier nier la bonne foi des intimés au seul motif qu'ils n'auraient pas déposé une demande de permis de construire avant d'entreprendre les travaux sur la toiture de cette construction. Sur ce point, le Tribunal cantonal a d'ailleurs retenu - sans que cela ne soit contesté par le recourant - que les intimés s'étaient préalablement renseignés auprès de la Commune qui n'avait pas jugé utile d'en aviser le Département, probablement parce qu'elle n'avait pas considéré que les travaux d'entretien envisagés devaient être qualifiés d'agrandissement ou de transformation. Par ailleurs, le recourant ne parvient pas à démontrer que les travaux réalisés constitueraient une transformation partielle de la pergola. Il se contente en l'occurrence d'affirmer, qu'après les travaux réalisés par les intimés, cette construction serait pourvue, non plus d'un toit composé d'une simple natte de roseaux, mais d'un toit lambrissé, avec une couche de 15 centimètres d'isolation, recouverte d'une tôle. Or ces allégations sont irrecevables dès lors qu'elles s'écartent des faits retenus par l'instance précédente, sans que le recourant n'invoque ni ne démontre le caractère manifestement inexact ou arbitraires de ceux-ci, comme il lui appartenait pourtant de le faire (cf. <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 4.1.2 p. 62 et les arrêts cités). Il convient dès lors de s'en tenir à l'état de fait cantonal selon lequel le toit - fixé sur quatre piliers en granit - est, après travaux, composé de poutres en bois rondes et d'une "natte en bois" (en lieu et place d'une natte de roseaux) recouverte d'une tôle; cet état de fait précise également que, selon les déclarations non contestées des intimés, le toit défectueux était déjà pourvu d'une tôle au moment de sa rénovation et ils n'ont fait que le rénover à l'identique. En outre les juges cantonaux ont retenu que la surface de la pergola (25 m2) n'avait pas changé depuis sa construction.
2.4. Par conséquent, sur la base des faits retenus par l'instance précédente, on ne saurait reprocher à celle-ci d'avoir mis les intimés au bénéfice d'un délai de péremption plus court que trente ans. D'une part, le Département compétent a toléré depuis 1996 la pergola érigée illégalement par les propriétaires précédents en renonçant sciemment à exiger sa démolition. D'autre part, il faut tenir compte de la bonne foi des intimés qui ont acquis l'immeuble en 2010 et ont procédé à de simples travaux d'entretien de la pergola ne modifiant ni sa surface, ni son gabarit. Il convient en outre de relever que le Département compétent en matière d'aménagement du territoire s'est abstenu de recourir contre l'arrêt entrepris annulant l'ordre de démolition de la pergola. Celui-ci justifiait d'ailleurs en 1996 la renonciation à l'ordre de démolition en raison notamment de la situation existant sur cette parcelle et du faible impact de cette pergola. En l'occurrence, les petites modifications apportées à la toiture de la pergola dans le cadre de son entretien ne conduisent pas en l'espèce à aggraver l'illégalité de la situation et peuvent être admises en application du principe de la proportionnalité (cf. note d' ARNOLD MARTI, in ZBl 106/2005 p. 384 à propos de l'arrêt 1A.17/2004 précité).
3.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité aux frais du recourant, qui succombe (<ref-law>). Les intimés, qui ont agi par l'intermédiaire d'un avocat, ont par ailleurs droit à des dépens, à charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge du recourant.
3.
Le recourant versera aux intimés la somme de 3'000 francs à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties, au Conseil communal du Landeron, ainsi qu'au Département du développement territorial et de l'environnement, au Conseil d'Etat et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel.
Lausanne, le 13 février 2017
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
La Greffière : Arn