Faits :
A.
Par avis du... 2019 publié dans la Feuille officielle du canton de Neuchâtel du 7 juin 2019, le Département du développement territorial et de l'environnement (DDTE) a mis à l'enquête publique jusqu'au 8 juillet 2019 les plans d'aménagement et les plans d'alignement de la route principale xxx (évitement est de U._). Ceux-ci ont fait l'objet d'une opposition émanant de soixante-trois habitants de U._, représentés par Me C._, lui-même opposant. Le traitement de cette opposition a été confié à Pascal Bühler, chef du bureau des acquisitions de terrains et des affaires juridiques du Service des ponts et chaussées du canton de Neuchâtel.
En vue d'une séance de conciliation fixée le 2 juillet 2020, Me C._ a demandé, le 25 juin 2020, à avoir accès aux autres oppositions déposées à l'encontre du projet d'évitement est de U._. Par courriel du 29 juin 2020, Pascal Bühler lui en a refusé la consultation au motif que ces oppositions ne faisaient pas partie du dossier.
Au cours de la séance du 2 juillet 2020, Pascal Bühler aurait indiqué (les parties divergent sur les termes exacts utilisés) aux opposants, en particulier à Me C._ qui demandait une jonction des différentes oppositions, que "cela ne se fera pas" (version du procès-verbal de cette séance) ou que "la décision de jonction sera a priori un refus" (version des opposants, figurant également au procès-verbal de cette séance).
Le 6 juillet 2020, Me C._ a requis du chef du DDTE, notamment, qu'il ordonne au Service des ponts et chaussées de lui transmettre le dossier complet de la cause, y compris les autres oppositions concernant le projet xxx (requête de jonction des causes) et qu'il constate que Pascal Bühler doit se récuser au motif qu'il a préjugé du refus de jonction et qu'il est membre du conseil général de la Ville de U._ qui a accepté à l'unanimité le projet (demande de récusation).
B.
Par deux décisions incidentes du 16 septembre 2020, le Conseil d'Etat du canton de Neuchâtel a rejeté la demande de récusation dirigée contre Pascal Bühler, respectivement refusé la jonction des causes. En ce qui concerne la récusation, il a retenu que la prise de position du prénommé au sujet de la jonction demandée s'inscrivait dans l'exercice normal de ses fonctions et que, en sa qualité de conseiller général de la Ville de U._, il ne s'était pas prononcé sur le projet cantonal de contournement de U._ mais sur un rapport d'information du conseil communal relatif au plan directeur partiel des mobilités (PDPM) qui, s'il était lié au projet cantonal, ne constituait pas la "même affaire" au sens de l'article 11 let. f de la loi cantonale sur la procédure et la juridiction administratives (LPJA; RS/NE 152.130).
C.
Par arrêt du 12 mai 2021, la Cour de droit public du Tribunal cantonal neuchâtelois a rejeté le recours formé contre la décision précitée du 16 septembre 2020 rejetant la demande de récusation.
D.
A._ et consorts forment un recours en matière de droit public par lequel ils demandent au Tribunal fédéral d'annuler l'arrêt cantonal, de prononcer la récusation de l'intimé et l'annulation des actes accomplis par celui-ci en rapport avec ce dossier xxx, et à titre subsidiaire, le renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants.
La cour cantonale produit son dossier et conclut au rejet du recours en se référant aux motifs de son arrêt. Le Conseil d'Etat, par le Service juridique du Département de l'économie, de la sécurité et de la culture, conclut au rejet du recours, celui-ci n'ayant aucune chance de succès, et se réfère pour le surplus aux considérants de l'arrêt attaqué et de la décision du Conseil d'Etat. L'intimé conclut au rejet du recours.
Par ordonnance du 7 juillet 2021, le Président de la Ire Cour de droit public du Tribunal fédéral a rejeté la demande d'effet suspensif assortie au recours en matière de droit public.
Le 15 octobre 2021, la présente cause a été suspendue, à la demande des recourants, dans l'attente du résultat de la votation du 28 novembre 2021 ayant pour objet le décret portant octroi d'un crédit d'engagement de 186 millions de francs (dont 73,1 millions à la charge de l'Etat de Neuchâtel) pour la réalisation du contournement est de U._ par la route principale suisse xxx; la cause a ensuite été reprise, après l'acceptation en votation du 28 novembre 2021, dudit décret.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final rendu en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public. Il est recevable comme recours en matière de droit public au sens de l'<ref-law>. Les recourants ont qualité pour agir puisqu'ils ont pris part à la procédure devant la cour cantonale et disposent d'un intérêt à l'admission de leur demande de récusation (<ref-law>). Il y a donc lieu d'entrer en matière.
2.
Les recourants se plaignent d'une constatation manifestement inexacte des faits et d'une violation de l'art. 29 Cst.
2.1.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 1.3; <ref-ruling> consid. 2.4; <ref-ruling> consid. 10.1).
2.1.2. L'art. 29 al. 1 Cst. invoqué par les recourants dispose que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement. Selon la jurisprudence, ce droit permet notamment d'exiger la récusation des membres d'une autorité administrative dont la situation ou le comportement sont de nature à faire naître un doute sur leur indépendance ou leur impartialité; il tend à éviter que des circonstances extérieures à l'affaire ne puissent influencer une décision en faveur ou au détriment de la personne concernée. La récusation peut s'imposer même si une prévention effective du membre de l'autorité visée n'est pas établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Cependant, seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des personnes impliquées ne sont pas décisives (cf. <ref-ruling> consid. 3.2.1; arrêt 2C_931/2015 du 12 octobre 2016 consid. 5.1).
De manière générale, les dispositions sur la récusation sont moins sévères pour les membres des autorités administratives que pour les autorités judiciaires. Contrairement à l'art. 30 al. 1 Cst., l'art. 29 al. 1 Cst. n'impose pas l'indépendance et l'impartialité comme maxime d'organisation. En règle générale, les prises de position qui s'inscrivent dans l'exercice normal des fonctions gouvernementales, administratives ou de gestion, ou dans les attributions normales de l'autorité partie à la procédure, ne permettent pas, dès lors que l'autorité s'exprime avec la réserve nécessaire, de conclure à l'apparence de la partialité et ne sauraient justifier une récusation, au risque sinon de vider de son sens la procédure administrative (<ref-ruling> consid. 5.2; <ref-ruling> consid. 5.2 et les références citées). La jurisprudence considère ainsi que les membres des autorités supérieures du pouvoir exécutif ne peuvent être récusés que s'ils ont un intérêt particulier à l'affaire, s'ils ont émis auparavant une opinion personnelle au sujet d'une partie ou s'ils ont commis des erreurs de procédure ou d'appréciation particulièrement lourdes ou répétées, qui doivent être considérées comme des violations graves de leurs devoirs et dénotent l'intention de nuire à la personne concernée (<ref-ruling> consid. 3e; arrêt 2C_643/2010 du 1er février 2011 consid. 5.5.2). Une récusation est également possible lorsque l'autorité s'est forgée une opinion inébranlable avant même d'avoir pris connaissance de tous les faits pertinents de la cause (cf. arrêts 1C_663/2019 du 25 mai 2020 consid. 3.1; 2C_931/2015 du 12 octobre 2016 consid. 5.1 et les références citées). A cet égard, une appréciation spécifique est nécessaire dans chaque situation particulière (<ref-ruling> consid. 5.2; <ref-ruling> consid. 3f; arrêt 1C_663/2019 du 25 mai 2020 consid. 3.1).
Selon un principe général, la partie qui a connaissance d'un motif de récusation doit l'invoquer aussitôt, sous peine d'être déchue du droit de s'en prévaloir ultérieurement (<ref-ruling> consid. 8.4.3; <ref-ruling> consid. 3.2.1; <ref-ruling> consid. 2.2; cf. également art. 12 LPJA).
2.2. Les recourants font grief à l'instance précédente d'avoir établi les faits de manière manifestement inexacte en tant qu'elle aurait retenu qu'ils avaient demandé une jonction des causes le 25 juin 2020; ce faisant, l'instance précédente aurait considéré à tort qu'ils avaient agi tardivement quant au motif de récusation tiré de la demande de jonction des causes.
En l'occurrence, la cour cantonale a retenu que la demande de jonction du 2 juillet 2020 avait pour objectif principal de permettre aux opposants d'avoir accès aux autres oppositions déposées contre les plans de la route xxx mis à l'enquête et qu'une telle demande d'accès aux autres oppositions avait déjà été formulée par Me C._, par courrier et courriel du 25 juin 2020, à laquelle Pascal Bühler avait déjà opposé un refus ("elles [les oppositions] ne vous seront donc pas communiquées"; cf. courriel du 29 juin 2020). Les recourants ne démontrent pas le caractère arbitraire de ces constatations; en particulier, ils ne démontrent pas en quoi il était arbitraire de considérer que les demandes précitées des 25 juin et 2 juillet 2020 visaient le même but. L'instance précédente a ainsi sans arbitraire estimé que la demande de jonction du 2 juillet 2020 tendait en réalité à avoir accès aux oppositions et qu'une telle demande avait, dans cette mesure, déjà été formulée. Il n'y a dès lors pas lieu de modifier l'état de fait de l'arrêt attaqué et le grief des recourants doit être écarté.
La question de savoir si le motif de récusation tiré du refus de joindre les oppositions a été invoqué tardivement par les recourants peut rester indécise. En effet, comme cela sera exposé ci-dessous, le refus opposé par l'intimé aux opposants lors de la séance du 2 juillet 2020 ne constitue pas un motif de récusation.
3.
Les recourants font grief à l'instance précédente d'avoir considéré que leur demande de récusation était mal fondée. Ils se prévalent notamment du décret portant octroi d'un crédit d'engagement de 186 millions de francs pour la réalisation du contournement est de U._ par la route principale suisse xxx, décret qui constituerait un fait notoire, en raison de sa publication dans la Feuille officielle du... 2021. Les recourants soutiennent qu'il ressort de ce décret, en particulier de son art. 8, que la réalisation de ce projet routier xxx serait dépendant de l'approbation du plan directeur partiel des mobilités (PDPM), de sorte que l'intimé qui aurait participé en sa qualité de membre du conseil général au vote concernant le projet communal du PDPM se serait "préalablement forgé une opinion à ce sujet et, plus précisément, un avis qui diverge forcément de celui des recourants quant au projet routier".
3.1. S'agissant du premier motif de récusation invoqué par les recourants, la cour cantonale a considéré que, outre le fait qu'elle était tardive, la demande de récusation fondée sur le refus de l'intimé de joindre toutes les oppositions frôlait la témérité, considérant ainsi que ce refus ne constituait pas un motif de récusation. Le Tribunal cantonal a notamment souligné que les recourants n'avaient pas vu, dans le refus de l'intimé de leur accorder l'accès aux autres oppositions, l'expression d'une opinion préconçue de celui-ci: ils n'avaient en effet pas formé une demande de récusation à l'encontre de l'intimé à la suite de ce refus, mais bien une demande de "décision sujette à recours", laquelle avait été obtenue le 16 décembre 2020 et n'avait pas été contestée.
On ne saurait voir dans la prise de position immédiate exprimée en séance par l'intimé au sujet de la demande de jonction des causes ("cela ne se fera pas"; "cela sera a priori un refus"; cf. procès-verbal de la séance du 2 juillet 2020) un motif de récusation. A l'instar de ce qu'a considéré le Conseil d'Etat, le fait d'envisager de proposer à l'autorité compétente de refuser la jonction de dossiers ne révèle pas une opinion préconçue ou une inimitié particulière de l'intimé à l'égard de l'un ou plusieurs des opposants. Cette prise de position intervenait de plus quelques jours seulement après le refus d'une demande des recourants qui visait - selon les constatations de l'instance précédente dont il n'y a pas lieu de s'écarter (cf. consid. 2.2 ci-dessus) - le même objectif, à savoir accéder aux autres oppositions.
3.2. Quant au motif de récusation tiré du mandat politique de l'intimé au conseil général de la Ville de U._ (ci-après: conseil général), la cour cantonale a considéré qu'il était infondé. Elle a certes constaté, en lien avec le projet cantonal d'évitement est de U._ par la route xxx, que le conseil communal de U._ (ci-après: conseil communal) avait élaboré un projet de PDPM dont le but était la réorganisation du trafic et la requalification de certaines routes à la suite de la diminution du trafic au centre-ville découlant de l'évitement par la route xxx. Ce projet communal avait donné lieu à un rapport d'information du 6 novembre 2019 du conseil communal, qui avait été soumis au conseil général à sa séance du 28 novembre 2019 et qui avait été accepté par celui-ci par trente-quatre voix contre zéro et deux abstentions. La cour cantonale a toutefois considéré que, à l'occasion de cette séance, les conseillers généraux ne s'étaient pas prononcés sur le projet cantonal d'évitement est de U._ par la route xxx, singulièrement son tracé et ses infrastructures, en particulier son tunnel, dont la nécessité était remise en cause par les opposants, mais bien sur le projet communal de PDPM qui ne serait pas l'objet de l'opposition instruite par l'intimé. Par conséquent, l'instance précédente a estimé qu'il était inexact de soutenir que, en acceptant le rapport d'information du conseil communal relatif au PDPM, l'intimé aurait exprimé un avis divergent des opposants au sujet du projet cantonal que ceux-ci contestent, qui démontrerait qu'il avait une idée préconçue sur l'affaire.
Cette appréciation peut être confirmée. Les recourants ne développent d'ailleurs aucune argumentation propre à la remettre en cause. Leur argumentation ne répond en particulier pas aux exigences accrues de motivation prévues par l'<ref-law> s'agissant d'un grief constitutionnel (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.2). Les recourants se limitent en effet à affirmer que, selon le décret, la réalisation de ce projet routier serait dépendant de l'approbation du PDPM; ils ne cherchent cependant nullement à démontrer concrètement en quoi, en acceptant le rapport d'information du conseil communal relatif au PDPM, l'intimé se serait déjà exprimé sur des questions soulevées dans le cadre de l'opposition au projet de contournement routier. Le seul fait qu'il existe des liens entre le PDPM et le projet de contournement de la ville par la route xxx - liens que la cour cantonale n'a pas ignorés, contrairement à ce que soutiennent les recourants - ne permet pas en soi de conclure à la prévention de l'intimé.
4.
Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure où il est recevable. Les recourants, qui succombent, supporteront les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux parties, au Conseil d'Etat de la République et canton de Neuchâtel et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel.
Lausanne, le 17 mars 2022
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Arn