Faits:
A. A.a Le 5 juillet 2002, le Conseil communal de la Ville de Neuchâtel (ci-après: le Conseil communal) a accordé à X._ la sanction définitive des plans et le permis de construire pour trois bâtiments d'habitation (A, B et C) et un garage collectif dans le quartier du centre-ville. Ces bâtiments ont été construits.
Ultérieurement, X._ a soumis pour pré-consultation à la Commission d'urbanisme de la Ville de Neuchâtel (ci-après: la Commission d'urbanisme) un projet de démolition des bâtiments sis sur les articles *** et *** du cadastre de Neuchâtel et de construction de deux nouveaux bâtiments d'habitation (D et E) devant être implantés à proximité, sur le côté ouest, des bâtiments A, B et C. Le 17 octobre 2003, la Commission d'urbanisme a requis l'établissement d'un plan de quartier pour ce secteur, préalablement à toute nouvelle réalisation. L'autorité considérait en substance que si les terrains concernés par le projet n'atteignaient pas la surface légale minimale de 3'000 m2 autorisant une commune à ordonner l'élaboration d'un plan de quartier, il convenait néanmoins de prendre en compte les terrains adjacents comprenant des parcelles déjà construites ou en cours de construction ou franches de toute construction "jusqu'à ce que la limite légale soit atteinte".
X._ a refusé d'établir un tel plan de quartier, arguant que la surface des terrains à bâtir des articles *** et *** n'était que de 708 m2 et que, par ailleurs, les terrains déjà bâtis (bâtiments A, B et C) et ceux pour lesquels aucune construction n'était concrètement envisagée (notamment articles ***, ***, ***, ***, ***, ***), ne pouvaient pas être pris en compte dans le calcul, car ils ne constituaient pas des projets architecturaux ou urbanistiques. Le 28 janvier 2004, après avoir reçu l'autorisation de démolir les anciens immeubles, l'intéressé a formellement demandé l'autorisation de construire deux nouveaux bâtiments d'habitation sur les articles *** et ***.
Par décision du 23 août 2006, le Conseil communal a refusé d'accorder la sanction préalable aux plans déposés. D'une part, il a estimé que le projet contrevenait aux clauses d'esthétisme en vigueur. D'autre part, il a exigé, conformément au préavis de la Commission d'urbanisme, la réalisation d'un plan de quartier avant toute nouvelle construction, en considérant que ce processus était le seul à même de garantir l'intérêt public quant à la qualité, l'intégration et la protection du caractère historique et urbanistique du quartier concerné.
A.b X._ a recouru contre la décision précitée du Conseil communal.
Par décision du 4 avril 2007, le Conseil d'Etat du canton de Neuchâtel (ci-après: le Conseil d'Etat) a admis le recours et annulé la décision attaquée. En bref, il a jugé que la réalisation d'un plan de quartier ne pouvait pas être exigée du requérant au vu de la jurisprudence et que le Conseil communal avait abusé de son pouvoir d'appréciation en refusant le projet pour des motifs esthétiques.
A.c A la suite de cette décision, le Conseil communal a accordé aux plans litigieux les sanctions préalable et définitive respectivement le 18 juin et le 18 octobre 2007.
B. Le 20 mars 2008, X._ a déposé une demande d'indemnisation au Conseil communal pour le dommage qu'il estimait avoir subi du fait de la décision communale précitée du 23 août 2006. Il estimait en effet que cette décision avait rejeté de manière arbitraire sa requête de sanction préalable pour son projet de construction, ce qui engageait la responsabilité du Conseil communal. Le 30 juin 2008, ce dernier a refusé d'entrer en matière sur cette demande.
Par écriture du 7 juillet 2008, X._ a saisi la Cour de droit public du Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif) d'une action de droit administratif à l'encontre de la Commune de Neuchâtel, en concluant, sous suite de frais et dépens, à ce qu'elle soit condamnée à lui verser un montant de 2'765'154 fr. 30, avec intérêts à 5% dès le 15 septembre 2005.
Par arrêt du 13 janvier 2010 le Tribunal administratif a rejeté l'action. En bref, il a considéré que la décision communale litigieuse du 23 août 2006, bien qu'illégale, ne revêtait néanmoins pas le caractère d'un acte illicite susceptible d'engager la responsabilité de son auteur, car elle ne pouvait pas être qualifiée d'arbitraire.
C. X._ forme un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt précité du Tribunal administratif dont il requiert l'annulation, sous suite de frais et dépens. Il conclut à la condamnation de la commune à lui payer un montant en capital de 2'765'154 fr. 30 avec intérêts à 5% l'an dès le 15 septembre 2005 ou au renvoi de la cause à l'autorité judiciaire cantonale pour nouveau jugement dans le sens des considérants. En substance, il soutient que le Tribunal administratif a refusé de manière contraire à l'art. 9 Cst. de qualifier d'arbitraire la décision du Conseil communal (du 23 août 2006) refusant son projet de construction.
La Ville de Neuchâtel, représentée par un avocat, conclut au rejet du recours, sous suite de frais. Le Tribunal administratif se réfère aux motifs de l'arrêt attaqué et conclut au rejet du recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1 p. 251).
1.1 La contestation porte sur le droit du recourant à des prétentions fondées sur la loi neuchâteloise sur la responsabilité des collectivités publiques et de leurs agents du 26 juin 1989 (loi sur la responsabilité, LResp; RS/NE 150.10). La cause relève donc du droit public. Comme telle, elle peut en principe faire l'objet d'un recours en matière de droit public au Tribunal fédéral (<ref-law>), car aucun recours devant le Tribunal administratif fédéral n'est ouvert (art. 86 al. 1 let. d LTF). En outre, le recours en matière de droit public représente la voie ordinaire dans le domaine de la responsabilité de l'État, le recours en matière civile n'étant qu'exceptionnellement ouvert sur la base de l'<ref-law> pour les causes relevant de la responsabilité de l'État pour les activités médicales (cf. <ref-ruling> consid. 2.1 p. 465 s.; art. 31 al. 1 let. d du Règlement du Tribunal fédéral du 20 novembre 2006 [RS 173.110.131]).
1.2 L'arrêt attaqué, qui déboute le recourant de son action en responsabilité, est une décision finale rendue par un Tribunal cantonal supérieur (art. 86 al. 1 et 2 et 90 LTF) dans une affaire qui dépasse largement la valeur limite de 30'000 fr. exigée en la matière (cf. <ref-law>). Par ailleurs, le recourant est manifestement légitimé à agir sur la base de l'<ref-law>.
Déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>), le recours en matière de droit public est donc recevable, sous réserve que les griefs soient motivés conformément aux exigences requises par la loi et la jurisprudence (cf. infra consid. 2).
2. 2.1 Sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. d LTF), les dispositions cantonales ne peuvent pas être attaquées directement comme telles devant le Tribunal fédéral (<ref-law> a contrario). Il est néanmoins possible de faire valoir que leur application consacre une violation du droit fédéral, comme la protection contre l'arbitraire au sens de l'art. 9 Cst. ou la garantie d'autres droits constitutionnels (cf. <ref-ruling> consid. 2.3 p. 466). Le Tribunal fédéral n'examine cependant de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiées prévues à l'<ref-law>, qui valent en particulier pour le grief d'arbitraire (cf. <ref-ruling> consid. 2 p. 639 s.; <ref-ruling> consid. 1.4.2 p. 254).
En outre, le Tribunal fédéral statue sur la base des faits constatés par l'autorité précédente (<ref-law>). Il ne s'en écarte que s'ils ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.3 p. 63) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Il n'entre pas en matière sur des critiques appellatoires concernant l'appréciation des preuves opérée par l'autorité précédente ou l'établissement des faits; il appartient au recourant de démontrer précisément en quoi ceux-ci ont été constatés de manière arbitraire et en quoi la correction du vice est susceptible d'influer sur le sort de la cause au sens de l'<ref-law> (cf. <ref-ruling> consid. 5.2.2 p. 322; <ref-ruling> consid 1.4 p. 400, <ref-ruling> consid. 1.4 p. 254/255 et les arrêts cités).
2.2 Le recourant se plaint d'arbitraire dans l'établissement des faits (recours, p. 7 in fine), mais ne développe pas la moindre motivation à cet égard. Il se borne, dans la première partie de son recours (ad "résumé des faits juridiquement pertinents"), à exposer de manière linéaire et unilatérale sa propre version des faits, sans discuter ceux qui ont été retenus par le Tribunal administratif. Son argumentation juridique souffre des mêmes insuffisances. Il y présente en effet de manière fort confuse toute une série de faits qui ne résultent pas de l'arrêt attaqué et sont donc irrecevables devant le Tribunal fédéral (<ref-law>), pour aboutir aux conclusions que l'autorité de première instance a témoigné d'un "abus de droit manifeste" et d'une "volonté évidente de nuire au recourant" et qu'elle a agi "sans motif objectif, en violation d'un droit certain et de manière arbitraire". De telles considérations ne correspondent nullement aux exigences de motivation de l'arbitraire et sont irrecevables.
2.3 Le seul grief recevable est celui tiré de l'arbitraire (art. 9 Cst.) dans l'application de l'art. 5 LResp. Cette disposition a la teneur suivante:
"1. La collectivité publique répond du dommage causé sans droit à un tiers par ses agents dans l'exercice de leurs fonctions, sans égard à la faute de ces derniers.
2. Elle ne répond pas des dommages résultant de décisions ou de jugements ayant acquis force de chose jugée.
3. Les décisions et jugements modifiés après recours n'entraînent la responsabilité de la collectivité publique que s'ils sont arbitraires."
2.4 A teneur de son art. 5 al. 2, la loi cantonale visée exclut donc la possibilité de remettre en cause, par le biais d'une action en responsabilité, la légalité ou la licéité d'une décision entrée en force. Cette clause d'exclusion consacre le principe de la protection juridique unique (Prinzip der Einmaligkeit des Rechtsschutzes). En pratique, ce principe oblige le destinataire d'une décision qui n'est pas d'accord avec celle-ci à la contester immédiatement par la voie d'un recours, sous peine d'être ultérieurement déchu du droit d'agir en responsabilité contre la collectivité publique dont elle émane (cf. RETO FELLER, Prinzip der Einmaligkeit des Reschtsschutzes im Staatshaftungsrecht, Berne 2006, p. 3 s.). Une telle clause d'exclusion se retrouve dans de nombreuses lois cantonales (cf. HANS RUDOLF SCHWARZENBACH-HANHART, Staatshaftungsrecht bei verfügungsfreiem Verwaltungshandeln, Berne 2006, p. 39 à 42) et, au plan fédéral, à l'art. 12 de la loi fédérale du 14 mars 1958 sur la responsabilité de la Confédération et des membres de ses autorités et de ses fonctionnaires (Loi sur la responsabilité, LRCF; RS 170.32) (sur la portée de cette disposition, cf. FELLER, loc. cit. et passim).
En l'espèce, le recourant a immédiatement recouru contre la décision du Conseil communal du 23 août 2006 refusant d'accorder une sanction préalable à sa requête d'autorisation de construire. Le Conseil d'Etat lui a donné raison et a annulé cette décision, ce qui a conduit le Conseil communal à lui octroyer la sanction préalable requise, puis, quelques mois plus tard, une sanction définitive. Le recourant n'était donc pas empêché d'agir en responsabilité contre la Commune de Neuchâtel par l'art. 5 al. 2 LResp. Le Tribunal administratif a toutefois estimé que cette action n'était pas fondée, car le refus communal (du 23 août 2006) n'était pas arbitraire au sens de l'art. 5 al. 3 LResp. Cette dernière disposition se présente comme une clause limitative de la responsabilité des collectivités publiques neuchâteloises prévue à l'art. 5 al. 1 LResp pour les actions fondées sur des décisions et jugements modifiés après recours.
2.5 S'agissant d'une question de droit cantonal, le Tribunal fédéral peut, en principe, seulement examiner si la juridiction cantonale a violé l'art. 9 Cst. (interdiction de l'arbitraire) ou d'autres garanties constitutionnelles en appliquant l'art. 5 al. 3 LResp (cf. supra consid. 2.1, premier paragraphe). Il ressort des considérants non contestés du Tribunal administratif que, lors des travaux du Grand conseil relatifs à l'adoption de cette norme cantonale, les parlementaires ont renoncé à conditionner la responsabilité de l'État à une décision ou un jugement "manifestement" arbitraire, c'est-à-dire entaché d'une "erreur volontaire particulièrement grossière". Comme cette précision avait clairement pour effet de ne pas limiter la responsabilité de l'Etat aux actes intentionnels crasses, les premiers juges en ont déduit que le concept d'arbitraire figurant à l'art. 5 al. 3 LResp se confondait avec ceux des art. 9 Cst. et de la constitution cantonale. Dans la mesure où le droit constitutionnel cantonal ne connaît pas une définition autonome et plus large de la notion d'arbitraire, le Tribunal administratif s'est référé à la jurisprudence rendue par le Tribunal fédéral sur cette notion. Le recourant ne conteste pas cette application à titre de droit cantonal supplétif de la jurisprudence fédérale, mais invoque uniquement la violation de l'art. 9 Cst. en lien avec l'application de l'art. 5 al. 3 LResp.
En conséquence, le litige revient à examiner si le Tribunal administratif a appliqué de manière insoutenable (arbitraire) la jurisprudence fédérale relative à la notion d'arbitraire. Le Tribunal fédéral s'interdit toutefois de restreindre son pouvoir d'examen à l'arbitraire au carré ("Willkür im Quadrat") (cf. <ref-ruling> consid. 2b p. 71 s.; <ref-ruling> consid 1 p. 351; <ref-ruling> consid. 1 p. 355 in initio; plus récemment, cf. arrêts 4A_495/2007 du 12 janvier 2009, consid. 2.1; 4D_2/2008 du 28 mars 2002, consid. 2.2). Il examinera donc librement si les premiers juges ont correctement appliqué la notion d'arbitraire au sens de sa jurisprudence.
3. 3.1 Selon une jurisprudence constante, à laquelle se réfère l'arrêt attaqué, l'arbitraire d'une décision ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable. Il faut encore que la décision en cause soit manifestement insoutenable. Tel est le cas si elle se trouve en contradiction évidente avec la situation effective, si elle viole gravement une norme ou un principe juridique clair et indiscuté, ou si elle heurte de manière choquante le sentiment de la justice et de l'équité. Par ailleurs, pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable, il faut également qu'elle apparaisse comme telle dans son résultat (cf. <ref-ruling> consid. 1.3 p. 4 s.; <ref-ruling> consid. 3.1 p. 265 s.; <ref-ruling> consid. 3.1 p. 153 et les références citées).
Au plan fédéral, la loi ne contient pas de disposition spécifique concernant l'éventuelle responsabilité de la Confédération pour les actes juridiques annulés ou modifiés à la suite d'un recours. Le régime ordinaire de la responsabilité pour le "dommage causé sans droit" (soit de manière illicite; cf. <ref-ruling> consid. 4.1 p. 317) prévu à l'<ref-law> s'applique, mais la jurisprudence a néanmoins posé des conditions particulièrement strictes pour admettre l'existence d'un acte illicite. Ainsi, le comportement d'un fonctionnaire ou d'un magistrat n'est illicite que lorsque celui-ci viole un devoir essentiel à l'exercice de sa fonction. Le simple fait qu'une décision se révèle par la suite inexacte, contraire au droit ou même arbitraire ne suffit pas (<ref-ruling> consid. 4d/dd p. 582; <ref-ruling> consid. 2b p. 249; <ref-ruling> consid. 2 p. 164; voir récemment l'arrêt 2C_25/2008 du 18.6.2008, in SJ 2008 I p. 481). Cette jurisprudence, reprise par de nombreux cantons, exige donc un arbitraire qualifié pour fonder la responsabilité de la Confédération à raison d'un acte juridique illicite annulé ou modifié à la suite d'un recours.
Le renvoi du législateur cantonal à la notion d'arbitraire, par opposition à la notion de "manifestement arbitraire", n'interdit nullement au juge neuchâtelois d'appliquer par analogie les principes déduits de l'<ref-law>: d'une part, ainsi qu'on l'a vu, cette distinction visait seulement à ne pas limiter la responsabilité du canton aux actes intentionnels (cf. supra consid. 2.5); d'autre part, dans la mesure où la jurisprudence restrictive déduite de l'<ref-law> limite la notion d'illicéité au sens de cette disposition, elle peut a fortiori être reprise pour limiter la notion d'arbitraire au sens de l'art. 5 al. 3 LResp qui, comme on l'a également vu (cf. supra consid. 2.4 in fine), constitue elle-même une limitation au régime de la responsabilité ordinaire prévu à l'art. 5 al. 1 REsp.
3.2 En l'espèce, est litigieux le caractère arbitraire, ou non, de la décision du 23 août 2006, par laquelle le Conseil communal avait refusé d'accorder au recourant la sanction préalable à son projet de construction. Sur recours, le Conseil d'Etat avait jugé que les deux motifs retenus par cette décision (violation des normes d'esthétisme et exigence d'un plan de quartier) constituaient un abus du pouvoir d'appréciation de la part de l'autorité communale au sens de l'art. 33 let. a de la loi neuchâteloise sur la procédure et la juridiction administrative du 27 juin 1979 (LPJA; RS/NE 152.130).
Le Tribunal administratif a estimé, en se fondant sur la jurisprudence du Tribunal fédéral et la doctrine (arrêt attaqué, consid. 3b), que toute violation du pouvoir d'appréciation est certes illégale, mais non pas nécessairement arbitraire; or, au vu des circonstances, les motifs de refus opposés au recourant échappent à l'arbitraire selon les premiers juges. Le recourant conteste cette thèse et soutient, en citant un avis de doctrine, que la simple constatation d'un abus du pouvoir d'appréciation suffirait à établir l'arbitraire. Autrement dit, ces notions seraient synonymes aux yeux du recourant.
3.3 Selon l'art. 33 LPJA, le Conseil d'Etat connaît des recours formés pour violation du droit, y compris l'excès ou l'abus du pouvoir d'appréciation. Cette disposition a la même teneur que l'art. 104 let. a de la loi fédérale d'organisation judiciaire du 16 décembre 1943 (OJ; RO 3 521), qui a été abrogée le 1er janvier 2007, avec l'entrée en vigueur de la loi sur le Tribunal fédéral (RO 2006 1205, p. 1241). D'après la jurisprudence déduite de l'art. 104 let a OJ - qui reste valable sur ce point sous l'empire de l'<ref-law> (cf. arrêts 8C_9/2009 du 10 novembre 2009, consid. 4.4.1; 8C_652/2008 du 8 mai 2009, consid. 4 non publié in <ref-ruling>97; 1C_430/2008 du 16 avril 2009, consid. 4.1; 1C_232/2008 du 16 septembre 2008, consid. 5.1) -, il y a abus du pouvoir d'appréciation lorsque l'autorité, bien que restant dans les limites du pouvoir d'appréciation qui lui est conféré, se laisse guider par des considérations non objectives, étrangères au but visé par les dispositions applicables, ou viole des principes généraux du droit tels l'interdiction de l'arbitraire, l'égalité de traitement, la bonne foi ou la proportionnalité (cf. <ref-ruling> consid. 2 p. 152; <ref-ruling> consid. 2 et les arrêts cités; arrêt 2A.65/2004 du 26 juin 2004, consid. 2.3.1). Il ressort de cette définition que, contrairement à ce que prétend le recourant, les notions d'abus du pouvoir d'appréciation et d'arbitraire ne se recouvrent pas, la première étant définie plus largement que la seconde.
L'abus du pouvoir d'appréciation peut certes résulter de l'application arbitraire d'une norme dans une situation donnée. En revanche, n'importe quel abus du pouvoir d'appréciation ne peut d'emblée être qualifié d'arbitraire. D'une manière générale, l'arbitraire est admis moins facilement que la simple violation du pouvoir d'appréciation par le Tribunal fédéral (cf. Felix Uhlmann, Das Willkürverbot (art. 9 BV), Berne 2005, no 472 et les arrêts du Tribunal fédéral cités au nos 470 ss), même si certaines formulations peuvent parfois prêter à confusion (cf. <ref-ruling> consid. 3c p. 206 où l'abus du pouvoir d'appréciation est défini comme une catégorie de l'arbitraire) et ont donné lieu à des critiques en doctrine (cf. Felix Uhlmann, loc. cit. et les références citées, en particulier, Jörg Paul Müller, Die Grundrechte der schweizerischen Bundesverfassung, Berne 1991, p. 250; cette critique ne se retrouve pas dans les éditions ultérieures de l'ouvrage).
La référence que cite le recourant à l'appui de son recours ne dit pas autre chose (Yves Donzallaz, Loi sur le Tribunal fédéral, Berne 2008, no 3453). Au contraire, cet auteur se réfère expressément à Claude Rouiller (in: Droit constitutionnel suisse, Zurich 2001, no 12 ad § 42), qui propose de lever l'ambiguïté entre les notions en posant la règle que "l'excès et l'abus du pouvoir d'appréciation sont arbitraires lorsqu'ils coïncident avec une appréciation insoutenable des circonstances, ce qui est ordinairement le cas, ou lorsqu'ils conduisent à un résultat qui contredit de manière choquante le sentiment de la justice et de l'équité".
3.4 Il s'ensuit que, contrairement à ce que soutient le recourant, le Tribunal administratif n'était, selon la jurisprudence du Tribunal fédéral et la doctrine, pas tenu de qualifier d'arbitraire la décision du Conseil communal du 23 août 2006 pour la seule raison qu'elle procède d'un abus du pouvoir d'appréciation de la part de cette autorité. Seul l'abus manifeste ou qualifié du pouvoir d'appréciation relève de l'arbitraire. Tout est donc affaire de circonstances pour décider si les deux motifs opposés au projet de construction du recourant (violation des normes d'esthétisme [infra consid. 3.5] et nécessité d'un plan de quartier [infra consid. 3.6]) sont à ce point insoutenables qu'ils engagent la responsabilité de la Commune de Neuchâtel.
3.5 Selon l'arrêt attaqué, les dispositions légales cantonales applicables prévoyaient notamment que le projet du recourant devait répondre aux exigences d'une architecture de qualité, tant intérieure qu'extérieure, et tenir compte de l'environnement naturel et bâti, notamment par rapport aux caractéristiques historiques, artistiques ou culturelles de la localité, du quartier ou de la rue (art. 7 de la loi neuchâteloise sur les constructions du 25 mars 1996. LConst/NE; RS/NE 720.0). En outre, comme l'a également retenu le Tribunal administratif, sans être contredit par le recourant, il ressort des art. 3 et 106 du Règlement d'aménagement de la Commune de Neuchâtel, édictés en vertu de l'art. 25 let. a LConstr., que les constructions projetées ne devaient pas seulement respecter des clauses dites négatives visant à éviter l'enlaidissement du quartier, mais étaient également soumises, en raison de leur implantation au centre-ville, à des clauses esthétiques positives destinées à garantir de manière dynamique la réalisation d'un ensemble de qualité (sauvegarde des caractéristiques historiques, urbanistiques et architecturales du quartier, en particulier concernant la volumétrie des bâtiments, leur aspect, les toitures et les espaces extérieurs; prise en compte de l'échelle, des proportions, des profils des matériaux, des couleurs de la rue et de l'ensemble du site).
Il ressort des constatations cantonales qu'à l'instar du bâtiment C également construit par le recourant, les bâtiments D et E ne respectent pas les caractéristiques architecturales et typologiques du quartier. En particulier, les immeubles du quartier présentent tous un toit incliné, à l'exception de ceux construits par le recourant qui ont un toit plat (arrêt attaqué, consid. 4b/dd). Le Conseil d'Etat a toutefois estimé que le projet de construction litigieux ne pouvait pas être refusé pour ce motif, car les constructions précédemment autorisées à l'ouest (notamment le bâtiment C) étaient sensiblement identiques à celles du nouveau projet. Cette différence d'appréciation ne permet nullement de qualifier d'arbitraire la décision du Conseil communal, encore moins d'y voir la manifestation d'un arbitraire qualifié au sens de la jurisprudence du Tribunal fédéral (cf. supra consid. 3.1, deuxième paragraphe). Par définition, des normes esthétiques contiennent de nombreuses notions indéterminées et posent de délicats problèmes d'interprétation et de qualification qui confèrent un large pouvoir d'appréciation aux autorités chargées de les appliquer (cf. Pierre Moor, Droit administratif, Vol. I, 2ème éd., Berne 1994, p. 380 s.).
Par ailleurs, en refusant d'étendre la notion d'arbitraire aux circonstances du cas particulier, les premiers juges n'ont nullement requalifié la décision du Conseil d'Etat, comme le prétend confusément le recourant par référence "au principe de la force de chose jugée matérielle et formelle". Du reste, la jurisprudence invoquée à l'appui de son point de vue (arrêt 2A.456/2005 du 20 juillet 2005) est totalement dénuée de pertinence pour le présent cas, puisqu'elle se rapporte à la clause d'exclusion de responsabilité prévue à l'<ref-law> pour la Confédération, dont le pendant au plan cantonal est l'art. 5 al. 2 LResp (cf. supra consid. 2.4).
3.6 Il reste à examiner le problème du plan de quartier.
Aux termes de l'art. 79 al. 1 de la loi cantonale sur l'aménagement du territoire du 2 octobre 1991 (LCAT; RS/NE 701.0), les plans de quartier ont pour but de favoriser une architecture et un urbanisme de qualité et d'améliorer l'intégration du quartier dans son environnement bâti et non bâti. Leur élaboration est réglée de la manière suivante à l'art. 82 LCAT:
"Les plans de quartier peuvent être élaborés par une commune ou par un ou plusieurs propriétaires, pour des terrains d'une surface de 3000 m2 au moins.
2. Le plan d'aménagement peut délimiter des secteurs où des plans de quartier seront établis avant toute construction.
3. Le Conseil communal peut subordonner la construction de bâtiments à l'établissement d'un plan de quartier."
Il est établi, selon les constatations cantonales, que le projet du recourant devait être construit sur un terrain d'une surface de 700 m2. La Commune avait néanmoins exigé, dans sa première décision, la réalisation d'un plan de quartier qu'elle estimait nécessaire pour apprécier la qualité et l'intégration du projet dans le quartier; elle avait justifié cette exigence par la prise en compte des parcelles voisines au projet pour calculer la surface des terrains susceptibles de nécessiter l'élaboration d'un tel plan. Le Conseil d'Etat a invalidé cette exigence contraire à un arrêt non publié du Tribunal administratif qui précisait que la notion "de terrains d'une surface de 3000 m2 au moins" au sens de l'art. 5 al. 1 LCAT vise les seules parcelles concernées par un projet de construction concret, ce qui n'était pas le cas des terrains alentour. Comme l'ont relevé les premiers juges, cette disposition n'est pas limpide et souffre plusieurs interprétations. Que le Conseil communal en ait privilégié une différente du Conseil d'Etat ne relève donc pas de l'arbitraire au sens de l'art. 5 al. 3 LResp. Certes, le recourant objecte que "les arrêts du TA sont à disposition de tout professionnel du droit justifiant d'un intérêt même indirect ou simplement scientifique dans la bibliothèque du Tribunal cantonal". Lui-même représenté par un mandataire qualifié, il ne s'est toutefois nullement prévalu, lors des discussions avec la Commune de Neuchâtel, de la jurisprudence en cause. Quoi qu'il en soit, la méconnaissance d'un arrêt cantonal non publié ne saurait à elle seule fonder la responsabilité d'une collectivité publique lorsqu'il s'agit, comme en l'espèce, d'appliquer une norme se prêtant à plusieurs interprétations.
4. Au vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable. Succombant, le recourant supportera les frais judiciaires (<ref-law>). Par ailleurs, dans la mesure où la Commune de Neuchâtel est représentée par un avocat dans un procès en responsabilité, il se justifie de lui allouer des dépens par exception à la règle de l'<ref-law> (cf., sous l'art. 159 al. 2 OJ, les arrêts 2C.3/2005 du 16 août 2010 consid. 7.3, 2C.1/2001 du 3 juillet 2003 consid. 8.3.2, 2C.4/2000 du 3 juillet 2003 consid. 9.3.2).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 20'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à la commune de Neuchâtel une indemnité de dépens de 20'000 fr.
4. Le présent arrêt est communiqué aux parties, à la Commune de Neuchâtel et au Tribunal administratif du canton de Neuchâtel, Cour de droit public.
Lausanne, le 18 août 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Addy