Faits:
A. Adopté par le Conseil général de la commune de Colombier le 15 septembre 2005, le plan spécial "Les Créneaux" (ci-après: le plan spécial) a été mis à l'enquête publique du 26 octobre au 25 novembre 2005. Il a été sanctionné par le Conseil d'Etat le 21 décembre 2005.
Le plan spécial ne touche que les parcelles 2742 et 2459. L'article 2742 constitue le jardin de la "Maison du Pontet", située au nord-ouest. Le périmètre est entouré de murs (dont un ancien mur crénelé unique en son genre, construit en 1626-1627), pratiquement de tous les côtés, sauf au sud, où il est bordé par les anciens bâtiments de ferme du Pontet.
B. E._ est au bénéfice d'une promesse de vente immobilière portant sur les articles 2742 et 2459. Avec l'accord des propriétaires, à savoir respectivement F._ et G._, E._ a demandé, le 22 mars 2006, à pouvoir y construire deux habitations collectives, soit au total douze logements, ainsi que vingt places de parc souterraines et quatre extérieures.
Mis à l'enquête publique du 28 avril au 29 mai 2006, ce projet a soulevé les oppositions de A._, B._, C._ et D._. La première est copropriétaire de la "Maison de Pontet". Les deux suivants détiennent les anciens bâtiments de ferme du Pontet. Enfin, les parcelles de la dernière jouxtent les constructions projetées à l'est.
Les oppositions ont été levées par le Conseil communal de Colombier (ci-après: le Conseil communal) par quatre décisions du 14 juillet 2006, principalement au motif que le plan spécial, adopté au terme d'une procédure conforme à la loi, était respecté.
Par prononcé du 21 mars 2007, le Conseil d'Etat de la République et canton de Neuchâtel (ci-après: le Conseil d'Etat) a rejeté le recours que les opposants avaient conjointement interjeté contre les décisions du Conseil communal.
Les opposants ont recouru auprès du Tribunal administratif de la République et canton de Neuchâtel (ci-après: le Tribunal administratif) contre ce prononcé. Par arrêt du 22 août 2007, le Tribunal administratif a rejeté le recours. Il a en substance considéré que les manquements invoqués, pour peu qu'ils soient établis, n'étaient pas de nature à entraîner la nullité du plan spécial, dont la procédure d'adoption n'avait pas été viciée.
C. Agissant par la voie du recours en matière de droit public, A._, B._, C._ et D._ demandent au Tribunal fédéral d'annuler l'arrêt rendu par le Tribunal administratif le 22 août 2007 ainsi que les décisions du Conseil d'Etat des 21 mars 2007 et 14 juillet 2006. Ils requièrent qu'il soit dit que la demande de permis de construire présentée par E._ le 22 mars 2006 est rejetée et que le plan spécial "Les Créneaux" est nul et sans effet. Subsidiairement, ils demandent que la cause soit renvoyée aux autorités communales de Colombier pour qu'elles élaborent un nouveau plan qui protège l'ensemble du Pontet. Ils sollicitent en outre une inspection locale ainsi qu'une audience publique, de même que l'octroi de l'effet suspensif. Ils invoquent le caractère de bien culturel digne d'intérêt national du "Pontet" et se prévalent de la nullité du plan spécial. Ils invoquent encore l'art. 6 par. 1 CEDH, notamment pour contester l'absence d'audience publique.
Par ordonnance du 24 octobre 2007, le Président de la Ire Cour de droit public a rejeté la demande d'effet suspensif présentée par A._, B._, C._ et D._. Ces derniers n'avaient pas démontré que projet litigieux porterait une atteinte irréversible à leurs intérêts de voisins.
Le Conseil d'Etat n'a pas formulé d'observations. La commune de Colombier, de même que E._, F._ et G._, ont conclu à l'irrecevabilité du recours, subsidiairement à son rejet. Dans leurs observations du 15 janvier 2008, A._, B._, C._ et D._ ont invoqué de nouveaux griefs. Ils ont pour le surplus confirmé leurs développements et conclusions.

Considérant en droit:
1. Le recours est dirigé contre une décision confirmant en dernière instance cantonale l'octroi d'une autorisation de construire fondé sur les normes cantonales et communales de police des constructions; il est recevable comme recours en matière de droit public selon les <ref-law>. Aucun des motifs d'exclusion définis à l'<ref-law> n'est réalisé.
2. Selon l'<ref-law>, a notamment qualité pour former un recours en matière de droit public quiconque est particulièrement atteint par la décision attaquée (let. b) et a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (let. c). Cette disposition reprend les exigences qui prévalaient sous l'empire de la loi fédérale d'organisation judiciaire pour le recours de droit administratif (cf. art. 103 let. a aOJ; Message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001 [ci-après: Message], FF 2001 p. 4126). Le recourant doit se trouver dans une relation spéciale, étroite et digne d'être prise en considération avec l'objet de la contestation. La proximité avec l'objet du litige ne suffit cependant pas à elle seule à conférer au voisin la qualité pour recourir contre la délivrance d'une autorisation de construire. Celui-ci doit en outre retirer un avantage pratique de l'annulation ou de la modification de l'arrêt contesté qui permette d'admettre qu'il est touché dans un intérêt personnel se distinguant nettement de l'intérêt général des autres habitants de la commune (Message, FF 2001 p. 4127; <ref-ruling> consid. 1.3.1 p. 252 s.; cf. <ref-ruling> consid. 1 p. 433). Si les normes cantonales ou communales de police des constructions dont le recourant allègue la violation ne doivent pas nécessairement tendre, au moins accessoirement, à la protection de ses intérêts de propriétaire voisin (cf. <ref-ruling> consid. 2c p. 46), ce dernier n'est pas pour autant libre d'invoquer n'importe quel grief. Il ne peut se prévaloir d'un intérêt digne de protection à invoquer des dispositions édictées dans l'intérêt général ou dans l'intérêt de tiers que si elles peuvent avoir une influence sur sa situation de fait ou de droit. Cette exigence n'est pas remplie lorsque le recourant dénonce une application arbitraire des dispositions du droit des constructions qui n'ont aucune influence sur sa situation de voisin, telles celles relatives à l'aération ou à l'éclairage des locaux d'habitation dans un bâtiment voisin (cf. l'intervention du Conseiller fédéral Blocher lors de la séance du Conseil des Etats du 8 mars 2005 consacrée à la loi fédérale sur le Tribunal fédéral, BOCE 2005 p. 135 s.; voir aussi s'agissant de l'ancien recours de droit administratif, <ref-ruling> consid. 3c p. 9; <ref-ruling> consid. 2 p. 378; arrêt 1A.115/2005 du 9 août 2005 consid. 1 publié in ZBl 107/2006 p. 119).
En l'espèce, les propriétés des recourants jouxtent le périmètre du plan spécial. Les normes qu'ils invoquent sont, en tout cas en partie, destinées à les protéger dans leurs droits propres, de sorte qu'ils disposent de la qualité pour recourir.
3. Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), il n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui. Il ne peut pas entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal si le grief n'a pas été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
4. Les recourants soutiennent que le présent litige est une "contestation sur des droits et obligations de caractère civil" et qu'une audience publique avec débats aurait dès lors dû être organisée conformément à l'art. 6 par. 1 CEDH.
En vertu de l'art. 6 par. 1 CEDH, il existe un droit à une audience publique dans les procédures relatives à des contestations sur des droits et obligations de caractère civil, dans la mesure où les parties n'y ont pas expressément ou tacitement renoncé (<ref-ruling> consid. 4f p. 226 et les arrêts cités). On est notamment en présence de droits et d'obligations de caractère civil au sens de l'art. 6 par. 1 CEDH, lorsqu'une mesure de droit des constructions ou d'aménagement du territoire a des effets directs sur les droits de propriété de l'intéressé (<ref-ruling> consid. 3e p. 300; <ref-ruling> consid. 5c p. 34 s.).
Selon la jurisprudence de la Cour européenne, l'art. 6 CEDH est applicable contre l'octroi d'une autorisation de la part des autorités, notamment une autorisation de construire, pour autant qu'un droit découlant de la propriété soit invoqué (Jochen Abraham Frowein/ Wolfgang Peukert, EMRK-Kommentar, 2e édition 1996, p. 187). En revanche, l'art. 6 CEDH n'est pas applicable lorsque seul le respect d'une norme de droit public est poursuivi (Jochen Abraham Frowein/ WolfgangPeukert, op. cit., p. 19).
Le Tribunal administratif a jugé que, pour être en présence de "droits de caractère civils", les recourants auraient dû invoquer la nullité du plan en raison de vices particulièrement graves et manifestes affectant des dispositions destinées à les protéger dans leurs droits de propriété. Il a relevé que l'un des recourants se prévalait certes de ce que les constructions projetées le priveraient entièrement de soleil l'après-midi. Le propriétaire concerné ne prétendait cependant pas que les dispositions du droit cantonal destinées à assurer à chacun l'ensoleillement et la lumière nécessaires avaient été violées.
Les recourants répètent que l'atteinte serait particulièrement grave pour A._, co-propriétaire de la maison du Pontet, qui aurait fait des sacrifices financiers importants pour la sauvegarde de cette dernière. Les bâtiments de deux autres recourants mentionnés à l'inventaire des sites construits à protéger en Suisse (ci-après: ISOS) perdraient en outre leur valeur culturelle et économique. Enfin, ils réaffirment que l'un d'entre eux se verrait privé de soleil dans l'après-midi. En cela, ils ne critiquent cependant aucunement l'appréciation du Tribunal administratif. Ils se contentent d'invoquer l'art. 25 al. 2 Cst. (recte art. 26 Cst.) sans dire en quoi leurs droits de propriétaires seraient atteints. Le grief doit dès lors être déclaré irrecevable en raison de l'insuffisance de sa motivation.
5. Les recourants reprochent également au Tribunal administratif d'avoir refusé de procéder à l'audition des témoins sollicitée. Ils se plaignent d'une violation de l'art. 29 al. 2 Cst.
5.1 Le droit d'être entendu découlant de cette disposition comprend notamment celui de faire administrer les preuves pour autant que celles-ci soient requises dans les formes prévues par le droit cantonal et qu'elles apparaissent utiles à l'établissement des faits pertinents (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2b p. 56; <ref-ruling> consid. 2b p. 102). L'autorité de décision peut donc se livrer à une appréciation anticipée de la pertinence du fait à prouver et de l'utilité du moyen de preuve offert et, sur cette base, refuser de l'administrer. Ce refus ne viole le droit d'être entendu que si l'appréciation à laquelle l'autorité a ainsi procédé est entachée d'arbitraire (<ref-ruling> consid. 3 p. 157 et les arrêts cités; sur la notion d'arbitraire, voir <ref-ruling> consid. 5.1 p. 17).
5.2 Le Tribunal administratif a écarté les preuves testimoniales requises, au motif, d'une part qu'il n'était pas indiqué sur quels allégués du recours certains témoins devraient être entendus et d'autre part, que l'audition des autres devait vraisemblablement concerner la protection du site du Pontet.
Selon les recourants, les témoins auraient pu être interrogés sur la promesse qui avait été formulée lors d'une séance à laquelle il était indiqué qu'ils avaient pris part (cf. consid. 7.1.2). Ils auraient aussi pu être interpellés sur le problème de la circulation routière et des travaux de révision du plan de zone général.
La simple référence à la participation des témoins à cette séance ne saurait être considérée comme suffisante. Quoi qu'il en soit, on ne peut pas reprocher au Tribunal administratif d'avoir présumé que leur audition devait porter sur la protection du Pontet, puisqu'il s'agissait précisément de l'objet de la réunion. Vu le sort réservé au grief de la bonne foi, une audition à ce sujet n'aurait pas non plus été utile (cf. consid. 7.1.2). Enfin, les recourants ne sauraient soutenir que la mention de la présence de ces personnes à la séance rendait évident que leur audition devait porter sur la circulation routière et la révision du plan de zone général.
5.3 Les recourants requièrent en outre un transport sur place du Tribunal fédéral. Ils ne contestent cependant pas son refus par l'autorité administrative. En l'absence de toute motivation sur ce point, il ne sera pas donné suite à la demande des recourants, étant précisé que les documents figurant au dossier sont suffisants pour trancher le litige.
6. Selon les recourants, en ne se prononçant pas sur les art. 93 al. 3 LCAT et 35 LConstr., qu'ils avaient pourtant mentionnés dans leur recours, le Tribunal administratif aurait aussi violé leur droit d'être entendus.
Contrairement à ce qu'affirment les recourants, le Tribunal administratif s'est déterminé sur l'art. 93 al. 3 LCAT. Cette disposition prévoit que si le plan ne concerne qu'une partie peu importante du territoire communal, un avis personnel est envoyé aux propriétaires touchés par le plan et dont l'adresse est connue. L'autorité cantonale a en effet considéré que, par "propriétaires touchés par le plan", il fallait entendre les propriétaires directement touchés dans leur droit de propriété, c'est-à-dire ceux dont les parcelles étaient incluses dans le périmètre du plan - ce que les recourants ne remettent pas en question.
Selon l'art. 35 de la loi cantonale du 25 mars 1996 sur les constructions (LContrs.), des perches-gabarits doivent être posées lors de la mise à l'enquête publique d'un projet de construction. Le Tribunal administratif s'est également penché sur ce point. Il a jugé que, s'agissant d'un plan spécial, pas plus le droit fédéral que le droit cantonal n'imposait la pose de perches-gabarits. En se bornant, devant la Cour de céans, à ajouter à leur argumentation que lorsqu'un plan spécial prévoit un projet précis de construction, la pose de perches-gabarits serait tout aussi justifiée qu'en présence d'une procédure d'autorisation de construire, les recourants ne parviennent au demeurant pas à démontrer que l'appréciation de la Cour cantonale serait arbitraire. Pour peu qu'il soit recevable, le grief doit dès lors être rejeté.
7. Les recourants se prévalent de la nullité du plan d'affectation spécial en faisant état de plusieurs manquements.
7.1 La nullité absolue ne frappe que les décisions affectées des vices les plus graves, manifestes ou du moins facilement décelables, et pour autant que la constatation de la nullité ne mette pas sérieusement en danger la sécurité du droit. Hormis dans les cas expressément prévus par la loi, il n'y a lieu d'admettre la nullité qu'à titre exceptionnel, lorsque les circonstances sont telles que le système d'annulabilité n'offre manifestement pas la protection nécessaire. Des vices de fond n'entraînent qu'à de rares exceptions la nullité d'une décision; en revanche, de graves vices de procédure, ainsi que l'incompétence qualifiée de l'autorité qui a rendu la décision sont des motifs de nullité (<ref-ruling> consid. 3.1 p. 27; <ref-ruling> consid. 3.3 p. 434; <ref-ruling> consid. 2.1 p. 363; <ref-ruling> consid. 3a/aa p. 99; <ref-ruling> consid. 2a p. 340; <ref-ruling> consid. 2c p. 219).
7.1.1 Les recourants reprochent ainsi au Tribunal administratif de ne pas avoir retenu que la violation de l'art. 4 LAT devait entraîner la nullité du plan d'affectation spécial.
En vertu de l'art. 4 de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (RS 700; LAT), les autorités chargées de l'aménagement du territoire renseignent la population sur les plans dont la loi prévoit l'établissement, sur les objectifs qu'ils visent et sur le déroulement de la procédure. Elles veillent à ce que la population puisse participer de manière adéquate à l'établissement des plans.
Le Tribunal administratif a relevé que le droit cantonal était muet sur le mode d'information et de participation de la population au sens de l'art. 4 LAT, notamment en ce qui concernait l'établissement d'un plan spécial et qu'il se limitait à prévoir que le Conseil communal devait informer la population (art. 93 al. 4 de la loi cantonale du 2 octobre 1991 sur l'aménagement du territoire [LCAT]). Il a jugé que cela n'exemptait pas les autorités communales de garantir au moins les exigences minimales fédérales, ce qui n'avait pas été fait dans le cas particulier. La Cour cantonale a cependant souligné que cette lacune n'était pas de nature à entraîner la nullité du plan, puisque la protection juridique était elle-même assurée par l'art. 33 LAT. Les recourants auraient dès lors eu la possibilité d'exercer leur droit d'opposition (art. 94 LCAT), puis de recours (art. 125 LCAT).
Les recourants ne contestent pas que l'existence de la procédure de recours prévue par l'art. 33 LAT s'oppose à la constatation de la nullité du plan spécial. Ils soutiennent en revanche qu'au vu de la promesse qui leur a été donnée, le manque d'information n'a pas pu être réparé dans la procédure de recours. En l'absence d'arguments supplémentaires, la conclusion du considérant qui suit sur les conséquences de cette prétendue promesse conduit au rejet du grief.
7.1.2 Les recourants expliquent également que, lors d'une séance du 21 novembre 1997 qui avait pour objet la protection du site du Pontet, un représentant de la Commission cantonale des biens culturels avait déclaré que "une solution qui tolère l'implantation de nouvelles constructions dans un site d'une telle qualité sera difficile à trouver, au vu des particularités du site. Un projet de ce type ne pourrait voir le jour qu'au moment où les voisins se seront entretenus et mis d'accord". Il avait ajouté "Dans un premiers temps, les discussions auront lieu entre Mme F._, Mme et M. G._, M. H._, le Service des monuments et des sites ainsi que les trois membres de la Commission cantonale des biens culturels. L'ensemble des partenaires seront ensuite associés au dossier". Etant donné que des représentants de la commune avaient participé à cette séance, les recourants estiment que cette dernière savait qu'ils avaient reçu l'assurance d'être consultés. Par conséquent, de bonne foi, ils avaient cru que les autorités les associeraient aux discussions relatives aux projets d'aménagement du jardin du Pontet. C'était donc à cause de cette promesse qu'ils avaient omis de se préoccuper du sort du mur crénelé et du jardin clos.
Découlant directement de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi protège le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration (<ref-ruling> consid. 6.1 p. 636; <ref-ruling> consid. 4.1 p. 170; <ref-ruling> consid. 10b/aa p. 125; <ref-ruling> consid. 3a p. 387 et les arrêts cités). Selon la jurisprudence, un renseignement ou une décision erronés de l'administration peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur, à condition que l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées, qu'elle ait agi ou soit censée avoir agi dans les limites de ses compétences et que l'administré n'ait pas pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu. Il faut encore qu'il se soit fondé sur les assurances ou le comportement dont il se prévaut pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice, et que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (<ref-ruling> consid. 6.1 p. 637; <ref-ruling> consid. 4.1 p. 170; <ref-ruling> consid. 3b/cc p. 123 et les références citées).
Le Tribunal administratif a jugé que, quand bien même on retiendrait l'existence d'une promesse émanant du Conseil communal tendant à associer les recourants à la procédure d'élaboration du plan spécial, encore faudrait-il que ceux-ci se soient fondés sur cette promesse pour prendre des dispositions préjudiciables. Il a observé que les recourants ne le prétendaient pas et qu'ils ne soutenaient pas davantage, à juste titre d'ailleurs, que le non-respect de cette promesse les aurait empêchés de s'opposer au plan spécial dans le délai de sa mise à l'enquête publique.
Il est vrai que l'imputation au Conseil communal d'une quelconque assurance est plus que discutable. Comme l'a toutefois relevé avec raison le Tribunal administratif, cette prétendue promesse ne dispensait pas les recourants de rester attentifs à l'évolution de la situation et, notamment, de consulter la feuille officielle, ce qu'ils ont d'ailleurs fait dans le cadre de la procédure de permis de construire. Dans ces circonstances, c'est à bon droit que le Tribunal administratif a rejeté le grief.
7.1.3 Les recourants exposent par ailleurs qu'une révision du plan de zone général de la commune de Colombier serait en cours. Selon eux, il serait dès lors choquant de l'avoir anticipée par un "mini-plan spécial", qui ne serait pas un instrument de planification, mais plutôt une autorisation de construire déguisée. La commune de Colombier devrait donc être invitée à inscrire, dans le plan de zone général, l'ensemble du quartier dans une zone protégée interdisant des constructions nouvelles.
Le Tribunal administratif n'a pas traité cette critique dans l'arrêt attaqué. Les recourants ne se plaignant pas d'un déni de justice à cet égard, le principe de l'épuisement des instances (<ref-law>) empêche le Tribunal fédéral d'entrer en matière sur ce grief. Le fait que les recourants se plaignent d'un déni de justice dans leurs observations du 15 janvier 2008 ne saurait au demeurant être pris en considération, puisque le délai de recours était déjà largement échu à cette date.
7.1.4 Les recourants font encore valoir que l'expertise imposée par l'<ref-law> aurait dû être mise en oeuvre. Selon eux, l'adoption du plan spécial constituerait l'accomplissement d'une tâche fédérale.
Selon l'art. 7 de la loi fédérale du 1er juillet 1966 sur la protection de la nature et du paysage (RS 451; LPN), si l'accomplissement d'une tâche de la Confédération incombe à la Confédération, l'OFEV ou l'OFC, ou l'OFROU, selon le domaine de compétence, détermine s'il est nécessaire qu'une expertise soit établie par la commission visée à l'art. 25 al. 1. Si le canton est compétent, c'est le service cantonal visé à l'art. 25 al. 2 qui détermine la nécessité d'une expertise. Si l'accomplissement de la tâche de la Confédération peut altérer sensiblement un objet inscrit dans un inventaire fédéral en vertu de l'art. 5 ou soulève des questions de fond, la commission établit une expertise à l'intention de l'autorité de décision. Cette expertise indique si l'objet doit être conservé intact ou de quelle manière il doit être ménagé. L'<ref-law> précise ce qu'il faut entendre par "tâche de la Confédération".
Selon la jurisprudence, l'adoption de plans d'affectation n'est pas une tâche de la Confédération. Elle incombe au contraire aux cantons. Les recourants font certes valoir que le site du Pontet est mentionné à l'ISOS, qui est un inventaire établi conformément à l'<ref-law>. Aux termes de l'<ref-law>, l'inscription d'un objet dans un tel inventaire montre que cet objet mérite spécialement d'être conservé intact ou en tout cas d'être ménagé le plus possible (al. 1); lorsqu'il s'agit de l'accomplissement d'une tâche de la Confédération, cette règle ne souffre d'exception que si des intérêts équivalents ou supérieurs, d'importance nationale également, s'opposent à cette conservation (al. 2). Dès lors, même si les prescriptions d'un plan d'affectation doivent s'appliquer à des terrains compris dans le périmètre d'un objet figurant à l'inventaire des sites construits d'importance nationale, les autorités cantonales qui adoptent les mesures de planification n'accomplissent pas pour autant une tâche de la Confédération (<ref-ruling> consid. 3c/aa p. 196; <ref-ruling> consid. 2c/cc p. 32). Une expertise n'étant pas exigée en l'espèce par l'<ref-law>, son absence ne peut a fortiori pas entraîner la nullité du plan spécial. Le grief doit donc être rejeté.
7.1.5 Les recourants voient également un motif de nullité dans le fait que les autorités communales n'ont pas communiqué le plan spécial à l'Office fédéral.
Selon l'art. 46 de l'ordonnance du 28 juin 2000 sur l'aménagement du territoire (RS 700.1; OAT), les cantons communiquent en temps utile à l'Office fédéral les modifications de plans d'affectation qui portent notamment atteinte à des sites d'importance nationale.
Le Tribunal administratif a retenu que le périmètre du plan spécial n'était pas répertorié comme site d'importance nationale. Même s'il devait l'être, il a jugé qu'il n'était pas dit que la communication requise par l'<ref-law> devait intervenir avant la sanction du plan et encore moins que son défaut pourrait entraîner la nullité de ce dernier.
Selon l'annexe à l'ordonnance du 9 septembre 1981 concernant l'inventaire fédéral des sites construits à protéger en Suisse (RS 451.12; OISOS), Colombier est mentionné en tant que "village urbanisé". Les fiches d'inventaires indiquent au surplus la présence de la Maison du Pontet: "une douzaine de mètres en contre-bas du village, au nord-ouest du temple et en marge de l'ancienne route de Colombier à Auvernier, la maison dite du Pontet entourée d'un vaste parc, orne les abords nord du site construit. C'est là que vécut Madame de Charrière, de 1771 à 1805. Edifice daté de 1614, n'ayant guère changé depuis deux siècles. Le corps principal arbore l'aspect traditionnel d'une gentilhommière du 17ème siècle". Les fiches font également mention d'un "groupe ancien": "une habitation ancienne datant du 18ème siècle ou du début du 19ème siècle haute de deux niveaux, ainsi qu'un vaste local utilitaire de la même époque, couvert d'un grand toit en selle à pans rabattus rompu par des lucarnes, forment une bande construite en dessous d'un talus en contre-bas du noyau historique, au pied du temple. Bien que relativement peu visible, ce groupe est encore préservé par un environnement".
Comme l'ont à juste titre relevé les recourants, l'affirmation du Tribunal administratif relative à la protection du site du Pontet par l'ISOS n'est pas correcte. Il ressort en effet du dossier que le périmètre du plan spécial fait partie du "périmètre environnant II" décrit ainsi dans l'ISOS: "campagne encore préservée formant tampon entre la banlieue EE V et le site construit original au nord et à l'ouest de l'agglomération. Surfaces vertes implantées de constructions historiques". Cette imprécision n'a toutefois pas d'incidence particulière puisque le rapport justificatif mentionnait quant à lui correctement l'inscription à l'ISOS.
Selon les recourants, la nullité devrait être constatée au motif que le défaut serait particulièrement grave, l'Office fédéral ayant été empêché de recourir. Les recourants n'ont cependant pas qualité pour se plaindre de la violation d'un droit qui ne leur appartient pas. Par ailleurs, on ne saurait reprocher au Tribunal administratif d'avoir considéré que ce défaut n'était pas grave au point de devoir entraîner la nullité du plan. En effet, comme cela a été rappelé ci-dessus, en adoptant le plan spécial, les autorités communales n'ont pas accompli une tâche de la Confédération. Dans ces circonstances, en vertu de l'<ref-law>, le site devait uniquement être ménagé le plus possible. Déterminer ce qu'il faut entendre par ce critère relève de l'appréciation et, en l'espèce, même si le plan devait porter atteinte à la protection du site, une intervention de l'Office fédéral n'aurait pas forcément conduit à son annulation. Dès lors, pour autant que ce vice eût été invoqué régulièrement, il n'aurait pu être qualifié de grave au point d'entraîner la nullité du plan. Le grief doit donc être rejeté.
7.1.6 A titre subsidiaire, les recourants soutiennent encore que les autorités auraient arbitrairement appliqué la législation cantonale en matière de protection des sites dignes de protection. Ils rappellent que le mur crénelé et le jardin sont protégés par des arrêtés du Conseil d'Etat de 1979 et de 2005.
Par arrêté du 6 février 1979, le Conseil d'Etat a classé monument historique les éléments suivants du manoir connu sous l'appellation du "Pontet": le volume des bâtiments, les façades, les abords de la maison, au sud et à l'ouest, la fontaine, la pièce de la galerie désignée "le Salon de musique de Mme de Charrière", les deux poêles du premier étage et les éléments de boiserie ancienne du premier étage.
En vertu de l'arrêté du Conseil d'Etat du 27 juin 2005, l'article 2742 a été classé au sens de la loi sur la protection des biens culturels du 27 mars 1985 et la protection a été étendue au mur à créneaux, au jardin avec ses allées de buis ainsi qu'à la fontaine sise au centre.
Les recourants font pertinemment observer que c'est à tort que les autorités communales ont jugé que la protection accordée à l'article 2742 n'était pas mise en péril par les constructions autorisées par le plan spécial. En effet, il ressort du dossier qu'une partie des constructions empiète sur le jardin. Le rapport justificatif précise d'ailleurs que l'un des objectifs du plan spécial était de "conserver dans toute la mesure du possible le jardin avec sa fontaine et ses allées, tout en permettant la construction sur ces parcelles proches du centre".
Le fait que le jardin et le mur crénelé soient protégés par la législation cantonale n'implique pas qu'il ne puisse absolument pas y être touché. Par ailleurs, il ne ressort pas du dossier que les autorités communales aient ignoré cette protection, puisqu'elles y ont même consenti. Dans ces circonstances, il ne s'agit pas d'un motif de nullité. Le grief doit dès lors être rejeté.
7.1.7 Les recourants estiment enfin que le rapport fondé sur l'<ref-law> ne se déterminerait pas sur la compatibilité des constructions envisagées avec la protection de l'environnement.
Le Tribunal administratif a expliqué que, contrairement à ce que prétendaient les recourants, le rapport justificatif se prononçait sur la prise en compte de l'environnement, en particulier s'agissant du bruit, de l'eau et des déchets. Les degrés de sensibilité attribués au secteur avaient été indiqués. Il avait également été précisé que le chemin par lequel l'accès au périmètre devait intervenir était une rue de desserte en sens unique faiblement chargée en trafic et que le quartier se trouvait à l'écart des nuisances du trafic de transit. La Cour cantonale a donc estimé que ce rapport était suffisant pour permettre au Conseil d'Etat de vérifier le respect des exigences de protection de l'environnement.
Les recourants se contentent d'affirmer que le rapport ne remplit pas les exigences de l'<ref-law>, sans contredire l'appréciation de l'autorité cantonale. Ils n'indiquent en particulier pas quelles sont les informations que le document aurait dû en outre contenir. Dans ces conditions, le grief ne satisfait pas aux exigences de motivation rappelées ci-dessus (cf. consid. 3) et doit être déclaré irrecevable.
8. Les recourants contestent par ailleurs que le chemin des Créneaux puisse supporter un trafic automobile plus important. Ils reprochent au Tribunal administratif de ne pas se s'être prononcé sur l'augmentation du bruit moyen du trafic journalier.
8.1 En vertu de l'art. 19 al. 1 LAT, un terrain est réputé équipé lorsqu'il est desservi de manière adaptée à l'utilisation prévue par des voies d'accès et par des conduites auxquelles il est possible de se raccorder sans frais disproportionnés pour l'alimentation en eau et en énergie, ainsi que pour l'évacuation des eaux usées. Les infrastructures doivent ainsi être adaptées aux possibilités de construire offertes par le plan de zones. Un bien-fonds ne peut dès lors être considéré comme équipé, si, une fois construit conformément aux règles du plan d'affectation, son utilisation entraîne un accroissement du trafic qui ne peut être absorbé par le réseau routier et s'il provoque des atteintes nuisibles ou incommodantes dans le voisinage (<ref-ruling> consid. 6a p. 488; André Jomini, Commentaire LAT, n° 20 ad art. 19). Lorsqu'un plan d'affectation est à ce point précis qu'il permet d'appréhender les problèmes de trafic, il est conforme au principe de la coordination que la question de l'équipement soit résolue au stade de l'adoption du plan d'affectation et non au stade ultérieur de l'autorisation de construire (<ref-ruling> consid. 2d/bb p. 452; <ref-ruling> consid. 2a p. 73; Robert Wolf, Kommentar zum Umweltschutzgesetz, n° 92 ad <ref-law>).
8.2 Les deux habitations collectives (soit douze logements au total), accompagnées d'un garage souterrain et de places de parc extérieures, telles que projetées en l'espèce, représentent une installation fixe nouvelle au sens des art. 7 al. 7 de la loi fédérale du 7 octobre 1983 sur la protection de l'environnement (RS 814.01; LPE) et 2 al. 1 de l'ordonnance du 15 décembre 1986 sur la protection contre le bruit (RS 814.41; OPB), qui ne peut être construite, à teneur de l'<ref-law>, que si les immissions sonores causées par le bruit de ces seules installations ne dépassent pas les valeurs de planification dans le voisinage; l'autorité qui délivre l'autorisation peut exiger un pronostic de bruit. Quant à l'<ref-law>, il dispose que l'autorité d'exécution détermine les immissions de bruit extérieur des installations fixes ou ordonne leur détermination si elle présume que les valeurs limites d'exposition y relatives sont dépassées ou qu'elles pourraient l'être.
Ces deux normes n'imposent pas toujours un pronostic de bruit ou une détermination individuelle des immissions; elles laissent un certain pouvoir d'appréciation à l'autorité compétente, en fonction du niveau prévisible des immissions de bruit. En l'espèce, ainsi que le rappelle le Tribunal administratif, le rapport justificatif précise que le chemin des Créneaux et le chemin du Pontet qui bordent le périmètre sont des dessertes très faiblement chargées en trafic et que le quartier est à l'écart des nuisances du trafic de transit ainsi que d'activités économiques gênantes pour le voisinage. Les recourants n'exposent pas en quoi l'autorité d'exécution aurait eu des raisons de présumer que les valeurs limites d'exposition au bruit pourraient être dépassées. Ils se contentent en effet de déclarer, sans autre explication, que "l'augmentation du bruit moyen du trafic journalier dépassera 30 % environ" et que le problème du trafic automobile était devenu très gênant dans ce quartier depuis deux ans. Dans ces conditions, le grief est irrecevable.
9. Il s'ensuit que le recours doit être rejeté dans la mesure où il recevable. Les recourants, qui succombent, doivent supporter l'émolument judiciaire (art. 65 et 66 LTF). Ces derniers verseront en outre une indemnité de dépens aux intimés E._, F._ et G._ (<ref-law>). Ni la commune de Colombier ni le Conseil d'Etat de la République et canton de Neuchâtel n'ont en revanche droit à des dépens (<ref-law>; arrêt 1C_122/2007 du 24 juillet 2007 consid. 6).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge solidaire des recourants.
3. Une indemnité de 1'000 fr., à payer à E._ à titre de dépens, est mise à la charge solidaire des recourants.
4. Une indemnité de 1'000 fr., à payer à F._ à titre de dépens, est mise à la charge solidaire des recourants.
5. Une indemnité de 1'000 fr., à payer à G._ à titre de dépens, est mise à la charge solidaire des recourants.
6. Le présent arrêt est communiqué aux mandataires des parties, au Conseil communal de Colombier, ainsi qu'au Conseil d'Etat et au Tribunal administratif de la République et canton de Neuchâtel.
Lausanne, le 7 mars 2008
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Féraud Truttmann