Faits: A. Adopté par le Conseil général de la commune de Colombier le 15 septembre 2005, le plan spécial "Les Créneaux" (ci-après: le plan spécial) a été mis à l'enquête publique du 26 octobre au 25 novembre 2005. Il a été sanctionné par le Conseil d'Etat le 21 décembre 2005. Le plan spécial ne touche que les parcelles 2742 et 2459. L'article 2742 constitue le jardin de la "Maison du Pontet", située au nord-ouest. Le périmètre est entouré de murs (dont un ancien mur crénelé unique en son genre, construit en 1626-1627), pratiquement de tous les côtés, sauf au sud, où il est bordé par les anciens bâtiments de ferme du Pontet. B. E._ est au bénéfice d'une promesse de vente immobilière portant sur les articles 2742 et 2459. Avec l'accord des propriétaires, à savoir respectivement F._ et G._, E._ a demandé, le 22 mars 2006, à pouvoir y construire deux habitations collectives, soit au total douze logements, ainsi que vingt places de parc souterraines et quatre extérieures. Mis à l'enquête publique du 28 avril au 29 mai 2006, ce projet a soulevé les oppositions de A._, B._, C._ et D._. La première est copropriétaire de la "Maison de Pontet". Les deux suivants détiennent les anciens bâtiments de ferme du Pontet. Enfin, les parcelles de la dernière jouxtent les constructions projetées à l'est. Les oppositions ont été levées par le Conseil communal de Colombier (ci-après: le Conseil communal) par quatre décisions du 14 juillet 2006, principalement au motif que le plan spécial, adopté au terme d'une procédure conforme à la loi, était respecté. Par prononcé du 21 mars 2007, le Conseil d'Etat de la République et canton de Neuchâtel (ci-après: le Conseil d'Etat) a rejeté le recours que les opposants avaient conjointement interjeté contre les décisions du Conseil communal. Les opposants ont recouru auprès du Tribunal administratif de la République et canton de Neuchâtel (ci-après: le Tribunal administratif) contre ce prononcé. Par arrêt du 22 août 2007, le Tribunal administratif a rejeté le recours. Il a en substance considéré que les manquements invoqués, pour peu qu'ils soient établis, n'étaient pas de nature à entraîner la nullité du plan spécial, dont la procédure d'adoption n'avait pas été viciée. C. Agissant par la voie du recours en matière de droit public, A._, B._, C._ et D._ demandent au Tribunal fédéral d'annuler l'arrêt rendu par le Tribunal administratif le 22 août 2007 ainsi que les décisions du Conseil d'Etat des 21 mars 2007 et 14 juillet 2006. Ils requièrent qu'il soit dit que la demande de permis de construire présentée par E._ le 22 mars 2006 est rejetée et que le plan spécial "Les Créneaux" est nul et sans effet. Subsidiairement, ils demandent que la cause soit renvoyée aux autorités communales de Colombier pour qu'elles élaborent un nouveau plan qui protège l'ensemble du Pontet. Ils sollicitent en outre une inspection locale ainsi qu'une audience publique, de même que l'octroi de l'effet suspensif. Ils invoquent le caractère de bien culturel digne d'intérêt national du "Pontet" et se prévalent de la nullité du plan spécial. Ils invoquent encore l'art. 6 par. 1 CEDH, notamment pour contester l'absence d'audience publique. Par ordonnance du 24 octobre 2007, le Président de la Ire Cour de droit public a rejeté la demande d'effet suspensif présentée par A._, B._, C._ et D._. Ces derniers n'avaient pas démontré que projet litigieux porterait une atteinte irréversible à leurs intérêts de voisins. Le Conseil d'Etat n'a pas formulé d'observations. La commune de Colombier, de même que E._, F._ et G._, ont conclu à l'irrecevabilité du recours, subsidiairement à son rejet. Dans leurs observations du 15 janvier 2008, A._, B._, C._ et D._ ont invoqué de nouveaux griefs. Ils ont pour le surplus confirmé leurs développements et conclusions.