Faits :
A.
Les parcelles du cadastre de Bôle n° 1013 - copropriété de D._ et E._ - ainsi que les parcelles n° s 160, 163, 1783, 435, 712 et 713 - toutes propriété de la Commune de Milvignes - sont situées dans la zone d'ancienne localité de cette commune. Elles supportent actuellement des serres et un groupe d'habitations. Sur ces parcelles est prévue la construction d'un bâtiment de trois appartements et d'un autre de huit appartements en lieu et en place des installations existantes. Propriétaires d'une parcelle attenante, A.A._ a formé opposition à ce projet de construction avec son épouse B.A._.
Après avoir, en particulier, requis le préavis du Service cantonal de l'aménagement du territoire, le Conseil communal de Milvignes a levé les oppositions au projet de construction, qu'il a jugées infondées. Contestant notamment l'indépendance et l'impartialité du Conseil communal, les époux A._ ont porté leur cause en vain devant le Conseil d'Etat, puis devant la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel qui a rejeté leur recours au terme d'un arrêt rendu le 23 septembre 2015.
B.
Agissant par la voie du recours en matière de droit public, les recourants demandent au Tribunal fédéral d'annuler l'arrêt cantonal et de renvoyer la cause à la juridiction cantonale, sous suite de frais et dépens. Dans le même acte, ils forment un recours constitutionnel subsidiaire ayant les mêmes conclusions.
Le Tribunal cantonal et le Conseil d'Etat se réfèrent aux considérants de l'arrêt attaqué et concluent au rejet du recours. Aux termes de ses observations, la Commune de Milvignes conclut au rejet du recours avec suite de frais. Les recourants persistent dans leurs conclusions.

Considérant en droit :
1.
Dirigé contre une décision rendue dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Voisins directs du projet contesté, les recourants sont particulièrement touchés par l'arrêt attaqué qui autorise la construction litigieuse; ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à son annulation ou à sa modification. Ils ont dès lors qualité pour agir au sens de l'<ref-law>.
Les autres conditions de recevabilité sont remplies si bien qu'il convient d'entrer en matière sur le recours en matière de droit public. Cela entraîne l'irrecevabilité du recours constitutionnel subsidiaire.
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation des faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid 5.2.2 p. 322 s.). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 2.3 p. 266 et les arrêts cités).
L'acte de recours ne remplit pas ces exigences. Dans une première partie consacrée aux faits de la cause, les recourants se contentent d'exposer leur propre lecture du dossier et d'alléguer des éléments factuels qui n'ont pas été retenus par la cour cantonale. Ils ne démontrent nullement en quoi ces circonstances auraient été omises de manière contraire au droit. Il n'en sera ainsi pas tenu compte et le Tribunal fédéral statuera sur les base des seuls faits contenus dans l'arrêt attaqué.
3.
Dans un moyen formel qu'il convient d'examiner en premier lieu, les recourants se plaignent d'une violation de leur droit d'être entendus. Il soutiennent que la production de l'acte de vente des parcelles propriété de la Commune serait déterminante pour démontrer que celle-ci n'avait plus l'indépendance nécessaire pour traiter le dossier.
Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. comprend notamment celui de faire administrer les preuves pour autant que celles-ci soient requises dans les formes prévues par le droit cantonal et qu'elles apparaissent utiles à l'établissement des faits pertinents (<ref-ruling> consid. 3.3 p. 496; <ref-ruling> consid. 2.2 p. 504). L'autorité de décision peut donc se livrer à une appréciation anticipée de la pertinence du fait à prouver et de l'utilité du moyen de preuve offert et, sur cette base, refuser de l'administrer. Ce refus ne viole le droit d'être entendu que si l'appréciation à laquelle elle a ainsi procédé est entachée d'arbitraire (<ref-ruling> consid. 6.3.1 p. 299; <ref-ruling> consid. 3 p. 157 et les arrêts cités).
La cour cantonale n'a pas expressément expliqué pour quels motifs elle ne donnait pas suite à la requête - au demeurant peu formalisée - des recourants en production de la promesse de vente des parcelles concernées par le projet de construction. Elle s'en est cependant expliquée en traitant le grief de fond. Dans la mesure où cette argumentation matérielle est conforme au droit fédéral (cf. infra consid. 4.3), la cour cantonale pouvait considérer, sans verser dans l'arbitraire, que le contenu de la convention concernant les parcelles propriété de la Commune n'était pas déterminant pour l'issue de la demande de récusation.
Mal fondé, ce grief d'ordre formel doit être rejeté.
4.
Sur le fond, les recourants soutiennent que la Commune n'avait pas l'indépendance nécessaire pour statuer sur l'autorisation de construire litigieuse: elle était propriétaire de certaines parcelles concernées; elle aurait promis la vente de ces parcelles à la condition que le permis de construire soit délivré; elle retirait ainsi un avantage propre à l'issue de la procédure administrative. Les recourants craignent que, dans de telles circonstances, le conseil communal n'applique pas à l'égard des projets communaux la législation topique et que, de manière générale, il favorise de tels projets. Ils regrettent enfin que le canton de Neuchâtel ne connaisse pas de législation semblable à celle du Valais où les projets mettant en cause des intérêts communaux sont soumis à l'autorisation d'une autorité cantonale.
4.1. La garantie minimale d'un tribunal indépendant et impartial, telle qu'elle résulte des art. 30 al. 1 Cst. et 6 par. 1 CEDH - lesquels ont, de ce point de vue, la même portée - permet de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie (<ref-ruling> consid. 3.2.1 p. 124). Pour cette raison, les différentes lois de procédure imposent la récusation dès que le magistrat a un intérêt personnel dans la cause (<ref-law>, 47 al. 1 let. a CPC, 56 let. a CPP); de même, les personnes appelées à rendre ou à préparer une décision de nature administrative doivent se récuser si elles ont un intérêt personnel dans l'affaire (<ref-law>). Dans le domaine de la poursuite pour dettes et faillite, aucun préposé, ni employé ne peut procéder à un acte de son office lorsqu'il s'agit de ses propres intérêts (<ref-law>). La jurisprudence n'impose cependant pas à ces fonctionnaires de se récuser pour le seul motif qu'ils sont employés du canton créancier (<ref-ruling> consid. 3 p. 106).
Ces principes ne sont pas directement applicables aux membres d'un exécutif, par hypothèse communal. Pour de telles autorités - non judiciaires - ce ne sont pas les art. 30 al. 1 Cst. et 6 par. 1 CEDH qui s'appliquent, mais le droit de procédure cantonal applicable et l'art. 29 al. 1 Cst. dont on déduit la garantie d'un traitement équitable (<ref-ruling> consid. 5.2 p. 329; Moor/Poltier, Droit administratif, volume II, Berne 2011, p. 270 note 425). Dans ce contexte, s'applique aussi le principe d'impartialité qui fait partie de cette garantie; l'essentiel réside alors dans le fait que l'autorité n'ait pas de prévention, par exemple en adoptant un comportement antérieur faisant apparaître qu'elle ne sera pas capable de traiter la cause en faisant abstraction des opinions qu'elle a précédemment émises (<ref-ruling> consid. 2.3 p. 146). Le Tribunal fédéral a ainsi considéré que se trouvaient en situation de récusation les membres d'un exécutif communal qui ont pris part comme jurés à un concours d'architecture et qui doivent ensuite statuer sur un plan d'aménagement fondé sur ce concours: ceux-ci donnaient l'apparence objective de ne plus pouvoir s'écarter, lors de l'appréciation des oppositions au plan d'aménagement, des choix pris dans le cadre du concours (<ref-ruling> consid. 7.3 p. 336 s.).
En revanche, des représentants d'une commune ne doivent pas, par principe, se récuser lorsqu'ils statuent sur des projets de construction dont leur Commune est le maître d'oeuvre: ce faisant, ils poursuivent en effet des intérêts publics et n'agissent pas en fonction de leurs intérêts personnels (<ref-ruling> consid. 2b p. 137; arrêt 1C_278/2010 du 31 janvier 2011 consid. 2.2; Gerold Steinmann, in: Ehrenzeller/Schindler/Schweizer/Vallender [éd.], Die schweizerische Bundesverfassung, St. Galler Kommentar, 3 e éd. 2014, n. 36 ad art. 29 Cst.). C'est la raison pour laquelle une demande de récusation doit en principe être dirigée contre des personnes physiques déterminées - susceptibles de connaître une situation de conflit d'intérêts privés - et non contre une autorité dans son ensemble (cf. <ref-ruling> consid. 3b p. 477; BENJAMIN SCHINDLER, Die Befangenheit der Verwaltung, thèse Zürich 2002, p. 75 s.; Moor/Poltier, op. cit., p 275). La récusation doit ainsi rester l'exception si l'on ne veut pas vider la procédure et la réglementation de l'administration de son sens: tel est a fortiori le cas lorsque la récusation vise à relever une autorité entière des tâches qui lui sont attribuées par la loi et qu'aucune autre autorité ordinaire ne peut reprendre ses fonctions, à moins que la demande ne soit dirigée contre chacun des membres de cette autorité pris individuellement (arrêt 2C_831/2011 du 30 décembre 2011 consid. 3.1 et les références).
4.2. Dans l'arrêt attaqué, la cour cantonale a d'abord constaté que le conseil communal de Milvignes constitue l'autorité désignée par la loi pour statuer sur les permis de construire; en application du droit cantonal, ce conseil est aussi responsable de l'administration et de la conservation des biens de la commune et il fait dans ce but tous les actes nécessaires. Enfin, lorsqu'une telle autorité est amenée à statuer sur des travaux de construction relatifs à des propriétés de la commune, le droit neuchâtelois ne prévoit pas de dessaisissement au profit d'une autre autorité.
Dans le cas particulier, le juges cantonaux ont retenu que rien ne donnait à penser que le conseil communal aurait privilégié les objectifs qu'il s'était fixé dans la gestion du patrimoine communal au détriment d'une application objective et consciencieuse des normes légales et réglementaires. Les recourants n'avaient en outre rapporté aucun fait précis susceptible de constituer un indice objectif de partialité de chacun des membres du conseil communal. Dans ces conditions, la demande de récusation formée contre l'autorité dans son ensemble n'était pas admissible.
Pour les motifs qui vont suivre, une telle appréciation ne viole pas la garantie constitutionnelle à voir sa cause traitée équitablement par une autorité indépendante et impartiale.
4.3. Il ne ressort pas du dossier - et les recourants ne le prétendent pas non plus - que les membres du conseil communal, pris individuellement, se seraient trouvés dans une situation de conflit d'intérêts privés. Il y a certes matière à récusation lorsque certains membres d'un exécutif communal font aussi partie du consortium de construction portant sur un projet soumis à une autorisation délivrée par ledit exécutif communal: comme ces membres retirent alors un avantage direct de la décision administrative à laquelle ils participent, ils n'ont plus d'indépendance suffisante (cf. arrêt P.434/66 du 21 septembre 1966 consid. 2, publié in ZBl 1967 p. 53 et cité par Schindler, op. cit., p. 98). La présente affaire n'entre cependant pas dans le cadre d'un tel cas de figure.
Le projet litigieux a pour but de créer des immeubles affectés au logement dans le centre d'une localité. Conformes à l'affectation prévue dans le plan d'affectation local, les constructions projetées servent indéniablement un but d'intérêt public: il appartient en effet aux collectivités publiques d'orienter le développement de l'urbanisation vers l'intérieur du milieu bâti, en maintenant une qualité de l'habitat appropriée (art. 1 al. 2 let. b LAT); tel doit a fortiori être le cas lorsque la collectivité publique concernée est propriétaire des parcelles visées par un tel projet de construction. Les recourants ne soutiennent d'ailleurs pas que la construction de deux bâtiments comprenant onze appartements en tout contreviendrait à un but d'intérêt public. Ils évoquent certes les réflexions menées depuis vingt ans au sujet de l'aménagement des parcelles propriété de la commune et ils auraient peut-être préféré voir se développer autrement le noyau historique de leur village. Avec la cour cantonale, il faut cependant constater que le projet litigieux a recueilli le préavis favorable du Service cantonal de l'aménagement du territoire, lequel s'appuie en outre sur les préavis spécialisés, dont celui de l'Office du patrimoine et de l'archéologie. Dès lors, de telles considérations ne sont pas propres à faire naître une apparence objective de prévention frappant l'ensemble d'un conseil communal (cf. <ref-ruling> consid. 3.2.1 p. 124).
Quant à la forme juridique que doit prendre la collaboration entre la Commune et le constructeur, on ne discerne pas en quoi les détails de celle-ci empêcheraient la Commune de disposer de toute l'indépendance nécessaire pour statuer sur le dossier. Dans l'hypothèse, évoquée par la cour cantonale et les recourants, d'une promesse de vente subordonnée à la délivrance de l'autorisation de construire, le contenu de cette convention pourrait tout au plus démontrer la ferme intention de la Commune que le projet de construction se réalise; or, cela va dans le sens d'une saine administration des biens communaux, mais ne dénote pas un parti pris fondé sur des avantages personnels. Si l'objet du litige concernait l'affectation des futurs bâtiments à des logements locatifs subventionnés, il pourrait alors éventuellement exister un intérêt à connaître les conditions de la vente pour vérifier que le prix d'achat n'est pas manifestement exagéré, ce qui serait alors susceptible d'avoir une influence sur le montant des loyers réclamés (cf. art. 269 al. 1 in fine CO; arrêt 1C_500/2013 du 25 septembre 2014 consid. 2.3, in SJ 2015 I 205). Les recourants ne s'aventurent cependant pas sur ce terrain, leurs objections de fond visant uniquement d'éventuelles violations de règles communales relatives à l'aspect esthétique du projet. Par conséquent, le Conseil d'Etat et, à sa suite, le Tribunal cantonal pouvaient considérer sans arbitraire que le contenu des accords entre la Commune et le constructeur n'avait pas de pertinence pour l'issue du litige.
4.4. Au vu de ce qui précède, le grief tiré de la violation des règles sur la récusation doit être entièrement rejeté.
5.
Les recourants dénoncent encore l'arbitraire dans l'application du droit communal: à leur sens, aucun motif ne permettait de s'écarter de la règle selon laquelle la construction d'un parking souterrain devait être privilégiée dans la zone ancienne localité.
5.1. Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 3 p. 351 s. et les références). Le recourant doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. En outre, si l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (<ref-ruling> consid. 6.1 p. 205; <ref-ruling> consid. 5.1 p. 17).
Enfin, le Tribunal fédéral s'impose une certaine retenue lorsqu'il doit se prononcer sur de pures questions d'appréciation ou tenir compte de circonstances locales, dont les autorités locales ont une meilleure connaissance que lui (<ref-ruling> consid. 4.2.1 p. 173; <ref-ruling> consid. 6.1 p. 181). C'est notamment le cas lorsqu'il s'agit d'apprécier la question du respect de l'identité d'un bâtiment et de son esthétique (arrêt 1C_61/2014 du 30 juin 2015 consid. 3 et les références).
5.2. A teneur des dispositions communales applicables, les garages et annexes doivent s'accorder au site et aux bâtiments principaux et leur intégration doit être harmonieuse. Les garages peuvent être intégrés au bâtiment principal, pour autant qu'ils ne portent pas atteinte à l'architecture de la façade et, dans la mesure du possible, les garages collectifs et souterrains sont privilégiés. Après avoir rappelé que le respect de l'esthétique ressortit en premier lieu à l'autorité communale, qui dispose à cet égard d'un large pouvoir d'appréciation, les juges cantonaux - suivant l'appréciation de la Commune - ont retenu que les garages et places de parc projetées ne créent pas un corps étranger rompant de manière choquante l'harmonie du quartier; par ailleurs, compte tenu du tissu bâti dans le secteur, les installations prévues ne compromettent pas l'image du quartier; le préavis favorable de l'Office du patrimoine et de l'archéologie ne contient en outre aucune remarque remettant en cause l'intégration des garages dans le site; enfin, la création d'une rampe et de places souterraines, avec les dimensions et dégagements requis, est incompatible avec la volonté de conserver le sous-sol de l'édifice actuel.
Une telle motivation n'est arbitraire ni dans son développement, ni dans son résultat. Contrairement à ce que semblent soutenir les recourants, la norme communale n'impose pas de manière absolue la construction de garages souterrains dans le centre du village: la disposition topique retient uniquement que cette option doit, dans la mesure du possible, être "privilégiée". Or, l'instance précédente a expliqué de manière convaincante, pour les motifs qui viennent d'être rappelés, pourquoi une construction souterraine n'était pas nécessaire dans le cas présent. Les recourants se contentent dans ce contexte d'opposer leur propre perception de l'harmonie des constructions au centre du village: de telles allégations ne démontrent pas pour autant que l'interprétation de la norme communale serait déraisonnable ou manifestement contraire à son sens et à son but. De même, l'absence de toute étude géologique démontrant l'impossibilité de réaliser une construction souterraine est sans incidence sur l'issue du litige, puisque, d'une part, la norme en question n'est pas impérative et que, d'autre part, l'autorité locale était en droit d'apprécier librement les circonstances de la cause.
5.3. Au vu de ce qui précède, ce grief des recourants doit aussi être écarté.
6.
Il résulte de ce qui précède que le recours en matière de droit public doit être rejeté, dans la mesure de sa recevabilité. Les recourants, qui succombent, doivent supporter les frais de la présente procédure (<ref-law>). La Commune n'a pas droit à des dépens (<ref-law>), tout comme l'intimée qui ne s'est pas déterminée dans la présente procédure.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté, dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
4.
Le présent arrêt est communiqué aux parties, à la Commune de Milvignes, au Conseil d'Etat et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel.
Lausanne, le 30 mars 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Merkli
La Greffière : Arn