Faits :
A.
A._ est propriétaire de plusieurs lots de la propriété par étages constituée sur le bien-fonds n° 2895 du cadastre de Saint-Aubin (NE), sis à la rue no X. Le bâtiment qui y est construit, hébergeant divers locaux et surfaces administratives, est directement attenant à celui édifié à l'est sur les parcelles nos 2896 et 2897, sis à la rue no Y, dont la propriétaire est la société C._ Sàrl, qui y exploite une carrosserie. Le bien-fonds n° 2895 bénéficie d'une servitude de passage sur une cage d'escaliers située à l'ouest du bien-fonds n° 2896.
Par décision du 11 avril 2008, la Commune de Saint-Aubin-Sauges (devenue la Commune de La Grande Béroche le 1er janvier 2018, par suite de fusion; ci-après: la Commune) a demandé aux anciens propriétaires du bien-fonds n° 2896 la réalisation de travaux de mise en conformité, en particulier au regard des normes visant la sécurité du bâtiment. Il leur a notamment été ordonné de créer une sortie directe depuis la cage d'escaliers, objet de la servitude de passage sus-évoquée.
B.
B.a. Le 4 mai 2016, C._ Sàrl a déposé une demande de permis de construire pour la création d'une porte et d'un escalier pour sortie de secours.
Par décision du 27 février 2017, la Commune a levé l'opposition formée par A._ à cette demande et a autorisé la construction de la voie d'évacuation projetée.
B.b. Le 3 avril 2017, A._ a saisi le Conseil d'Etat de la République et canton de Neuchâtel d'un recours contre cette autorisation (REC_1); il soutenait que la sortie de secours projetée n'était pas l'accès le plus direct à l'air libre. Il faisait également valoir qu'une autre cause (REC_2), relative à la demande de C._ Sàrl de changer l'affectation d'un atelier sis sur la parcelle n° 2896 en salle de concert, était à même d'influencer le sort de la procédure relative à la sortie de secours.
Par décision du 17 janvier 2018, rendue après qu'il avait notamment été procédé à une inspection locale en date du 19 octobre 2017, le Conseil d'Etat a rejeté le recours formé par A._.
B.c. A._ a formé un recours auprès de la Cour de droit public du Tribunal cantonal (ci-après également: la cour cantonale) contre la décision du 17 janvier 2018.
Dans le cadre de l'instruction de ce recours, B._, collaborateur juridique au sein du Service juridique de l'Etat de Neuchâtel chargé de l'instruction des recours pendant devant le Conseil d'Etat, a rédigé des observations datées du 22 mars 2018 au nom du Conseil d'Etat; ce juriste a notamment décrit A._ comme " quelqu'un qui sembl[ait] malheureusement être plus soucieux d'ennuyer son voisin que de voir le droit respecté ".
A connaissance des observations du Conseil d'Etat, A._ a demandé la récusation du juriste chargé de l'instruction des dossiers REC_1 et REC_2, soutenant que celui-ci avait tenu des propos faisant naître un doute sur sa partialité; il a affirmé que la décision du Conseil d'Etat du 17 janvier 2018 devait être annulée pour ce motif.
Par arrêt du 15 février 2019, la cour cantonale a rejeté le recours, écartant notamment le grief tiré de la prévention de B._.
B.d. Saisi d'un recours en matière public formé par A._ contre l'arrêt du 15 février 2019, le Tribunal fédéral l'a admis par arrêt du 7 janvier 2020 (cause 1C_165/2019). L'arrêt attaqué et la décision du 17 janvier 2018 du Conseil d'Etat ont été annulées, la cause ayant été renvoyée au Conseil d'Etat pour reprise de l'instruction et nouvelle décision au fond, ainsi qu'à la cour cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale.
En substance, il a été considéré que la remarque, déplacée et malvenue, contenue dans l'écriture du 22 mars 2018, à laquelle s'ajoutaient d'autres erreurs de procédure ou d'appréciation, permettait objectivement de retenir une apparence de prévention de B._, lequel avait participé à la rédaction de la décision du Conseil d'Etat du 17 janvier 2018. Il y avait donc lieu de constater que la garantie d'impartialité du Conseil d'Etat n'était, pour ce motif, pas respectée lorsqu'il avait rendu cette décision. En n'annulant pas la décision du Conseil d'Etat, la cour cantonale avait violé l'art. 29 al. 1 Cst. (arrêt 1C_165/2019 précité consid. 2.2).
C.
Statuant à nouveau sur le recours de A._ contre la décision communale du 27 février 2017, le Conseil d'Etat l'a rejeté par décision du 12 février 2020.
Le recours formé par A._ contre cette décision a été rejetée par arrêt du 15 décembre 2020 de la Cour de droit public du Tribunal cantonal.
D.
Agissant le 18 janvier 2021 par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, avec suite de frais et dépens, principalement d'annuler l'arrêt du 15 décembre 2020 ainsi que la décision du Conseil d'Etat du 12 février 2020 et de renvoyer la cause au Conseil d'Etat pour reprise de l'instruction et nouvelle décision. Subsidiairement, il conclut à la réforme de l'arrêt en ce sens que la demande de permis de construire déposée le 4 mai 2016 par C._ Sàrl est rejetée.
Invités à se déterminer, C._ Sàrl, la Commune, le Conseil d'Etat et la cour cantonale concluent au rejet du recours.
Dans ses observations du 30 avril 2021, A._ persiste dans ses conclusions.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours en matière de droit public est en principe recevable, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a participé à la procédure devant l'instance précédente. En tant que copropriétaire d'une parcelle directement voisine du projet, il est particulièrement touché par l'arrêt attaqué confirmant l'octroi d'un permis de construire pour un projet de construction qu'il tient en particulier pour non conforme au droit. Il peut ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Il a dès lors qualité pour agir au sens de l'<ref-law>.
Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Le recourant se plaint que le Conseil d'Etat ne l'avait pas invité à se déterminer à la suite de la notification de l'arrêt de renvoi du Tribunal fédéral du 7 janvier 2020, alors qu'il entendait requérir à nouveau des moyens de preuve ainsi que demander l'annulation et la répétition des actes d'instruction menés par le collaborateur juridique B._, dont l'apparence de prévention avait été reconnue par le Tribunal fédéral. Il invoque une violation de son droit d'être entendu (art. 29 al. 2 Cst.).
2.1. Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., implique notamment le droit de l'intéressé de s'exprimer sur la cause avant qu'une décision soit rendue sur sa situation juridique (<ref-ruling> consid. 2.3; <ref-ruling> consid. 2.2.1). Avant de statuer à la suite d'un renvoi, l'autorité saisie doit ainsi respecter le droit d'être entendu en donnant, en règle générale, aux parties une nouvelle occasion de présenter des observations sur la cause. Il ne peut être fait exception à ce principe que lorsque l'autorité inférieure ne dispose d'aucune latitude quant à la décision à rendre (<ref-ruling> consid. 2; <ref-ruling> consid. 2d). La nature des questions qu'il reste à trancher détermine dans quelle mesure il subsiste un droit de s'exprimer après l'admission du recours et le renvoi de la cause à l'autorité inférieure (<ref-ruling> consid. 2; <ref-ruling> consid. 2d; plus récemment arrêt 6B_207/2018 du 15 juin 2018 consid. 2.1).
Une violation du droit d'être entendu peut être réparée lorsque la partie lésée a la possibilité de s'exprimer devant une autorité de recours jouissant d'un plein pouvoir d'examen (<ref-ruling> consid. 4.4). Toutefois, une telle réparation doit rester l'exception et n'est admissible, en principe, que dans l'hypothèse d'une atteinte qui n'est pas particulièrement grave aux droits procéduraux de la partie lésée. Cela étant, une réparation de la violation du droit d'être entendu peut également se justifier, même en présence d'un vice grave, lorsque le renvoi constituerait une vaine formalité et aboutirait à un allongement inutile de la procédure, ce qui serait incompatible avec l'intérêt de la partie concernée à ce que sa cause soit tranchée dans un délai raisonnable (<ref-ruling> consid. 2.8.1). Par ailleurs, le droit d'être entendu n'est pas une fin en soi. Il constitue un moyen d'éviter qu'une procédure judiciaire ne débouche sur un jugement vicié en raison de la violation du droit des parties de participer à la procédure, notamment à l'administration des preuves. Lorsqu'on ne voit pas quelle influence la violation du droit d'être entendu a pu avoir sur la procédure, il n'y a pas lieu d'annuler la décision attaquée (<ref-ruling> consid. 1.4.1).
2.2. Il ressort de l'arrêt attaqué qu'à réception de l'arrêt 1C_165/2019 du 7 janvier 2020, la Conseil d'Etat n'avait pas invité le recourant à se déterminer avant de rendre sa nouvelle décision du 12 février 2020, pas plus qu'il n'avait pris en considération, dans ce cadre, la télécopie que le recourant lui avait spontanément adressé le 10 février 2020 et par laquelle il avait sollicité l'annulation des actes d'instruction auxquels B._ avait participé, soit notamment le procès-verbal de la vision locale du 19 octobre 2017 (cf. arrêt attaqué, consid. 2c p. 6).
Cela étant, dès lors que l'état de fait était à ses yeux complet, la cour cantonale a laissé indécise la question de savoir si le Conseil d'Etat devait interpeller le recourant avant de rendre sa décision (cf. consid. 2.3 infra). Elle a en revanche estimé que le Conseil d'Etat avait violé le droit d'être entendu du recourant en ne se prononçant pas sur sa requête du 10 février 2020 tendant à l'annulation des actes de procédure réalisés par B._ (cf. consid. 2.4 infra), tout en admettant néanmoins que le vice en découlant pouvait être réparé en procédure de recours (cf. arrêt attaqué, ibidem).
2.3. Le recourant se plaint que, privé de la possibilité de se déterminer avant que le Conseil d'Etat se prononce à nouveau sur son recours ensuite de l'arrêt 1C_165/2019, il n'avait pas eu l'occasion de requérir d'autres moyens de preuve. Il entendait en particulier solliciter " la production, par l'Établissement cantonal d'assurance et de prévention (ECAP), d'une mesure chiffrée, avec méthode de calcul à l'appui, déterminant laquelle des voies d'évacuation proposées, respectivement par l'intimée et par lui-même, respectait l'exigence de l'accès le plus direct en un lieu sûr au sens de l'art. 35 de la norme AEAI [Norme de protection incendie édictée par l'Association des établissements cantonaux d'assurance incendie, 2015] ".
Il ressort néanmoins de la décision du 12 février 2020 que le Conseil d'Etat s'était référé au préavis positif émis par l'ECAP le 13 janvier 2017, de même qu'aux explications fournies par le représentant de l'ECAP lors de la vision locale du 19 octobre 2017, pour reconnaître la conformité de la voie d'évacuation projetée au regard des normes de la police du feu (cf. décision du 12 février 2020, consid. 2.3 et 3.5). Il peut en être aisément déduit que le Conseil d'Etat s'était estimé suffisamment renseigné et que le rapport sollicité n'était à ses yeux pas nécessaire pour lui permettre de statuer en toute connaissance de cause. Le Conseil d'Etat a ainsi procédé, à l'instar de la cour cantonale à sa suite (cf. également consid. 4 infra), à une appréciation anticipée des preuves, n'étant à cet égard nullement empêché par la portée de l'arrêt de renvoi 1C_165/2019, qui n'abordait pas la cause au fond, mais uniquement sous l'aspect d'une apparence de prévention du collaborateur juridique ayant oeuvré à la rédaction de la première décision du Conseil d'Etat. C'est dès lors bien sous l'angle d'un établissement inexact des faits que le grief devra être examiné (cf. consid. 4 infra).
Pour le surplus, outre la réquisition de preuve évoquée ci-avant, le recourant n'explique pas de quel moyen ou réquisition supplémentaire il se serait prévalu s'il avait formellement été invité à se déterminer. De surcroît, dès lors qu'il s'était effectivement adressé au Conseil d'Etat le 10 février 2020 pour demander l'annulation des actes de procédure auxquels B._ avait participé, on ne voit pas qu'il aurait été empêché, dans ce cadre, de faire valoir d'autres moyens.
2.4.
2.4.1. S'agissant précisément de la requête du 10 février 2020, il est observé que le sort à réserver aux actes accomplis par la personne récusée ainsi que l'éventuel délai pour requérir leur annulation ou répétition varient selon la loi de procédure applicable (pour un aperçu des solutions envisagées par différentes lois cantonales de procédure administrative: cf. BENOÎT BOVAY, Procédure administrative, 2e éd., 2015, p. 164). En droit fédéral par exemple, l'<ref-law> prévoit que les opérations auxquelles a participé une personne tenue de se récuser sont annulées si une partie le demande au plus tard cinq jours après avoir eu connaissance du motif de récusation. Il en va de même de l'art. 60 al. 1 du Code de procédure pénale suisse du 5 octobre 2007 (CPP; RS 312.0), alors que l'art. 51 al. 1 du Code de procédure civile du 19 décembre 2008 (CPC; RS 272) prévoit un délai de dix jours.
Les considérants de l'arrêt attaqué ne permettent pas de déduire quelle solution a été retenue en droit neuchâtelois de procédure administrative, les art. 11 ss de la loi cantonale sur la procédure et la juridiction administratives du 27 juin 1979 (LPJA; RS/NE 152.130), relatifs à la récusation, étant au demeurant muets à cet égard. Cela étant, en tant que la requête du recourant a été adressée au Conseil d'Etat par télécopie du 10 février 2020, à savoir une vingtaine de jours après la notification de l'arrêt 1C_165/2019 du 7 janvier 2020 - intervenue le 20 janvier 2020 -, il n'y a rien d'évident à considérer que celle-ci a été formée utilement, ni dès lors qu'elle était recevable. Cela paraît d'autant moins évident dans la mesure où l'art. 20 al. 1 LPJA renvoie, d'une manière générale, aux dispositions du CPC s'agissant des délais.
Dans ce contexte, et en l'absence de précisions qui ressortiraient de l'arrêt attaqué, on ne saurait reconnaître d'emblée, contrairement à la cour cantonale, que le droit d'être entendu du recourant a été violé dès lors que le Conseil d'Etat ne s'était pas prononcé sur sa requête tendant à une reprise de l'instruction " à zéro ".
2.4.2. A tout le moins, en particulier en l'absence d'une norme imposant à l'autorité de traiter d'office la question de l'annulation ou la répétition des actes de la personne récusée, il n'était pas critiquable de considérer que la violation alléguée par le recourant n'était pas particulièrement grave, de sorte qu'elle était susceptible d'être réparée par l'examen en procédure de recours des motifs que le recourant avait fait valoir devant l'instance précédente.
Sur ce point, la cour cantonale pouvait considérer que les erreurs de procédure ou d'appréciation, de même que la remarque déplacée de B._, relevées dans l'arrêt 1C_165/2019, n'étaient intervenues que dans le cadre de la prise de décision en tant que telle et postérieurement à celle-ci, mais non lors de l'instruction de la cause, si bien qu'il n'y avait pas matière à une annulation ou à une répétition des opérations d'instruction déjà accomplies. Ainsi, l'inspection locale du 19 octobre 2017 avait fait l'objet d'un procès-verbal, établi par B._, sur lequel le recourant s'était exprimé lors de cinq courriers successifs entre octobre et décembre 2017, sans revenir sur les constatations de fait qui y étaient opérées, ni mettre en cause l'attitude du collaborateur juridique précité. Quant aux autres actes d'instruction réalisés par ce dernier, ils ne portaient que sur de simples observations ou des courriers-types, tels que des demandes d'avances de frais (cf. jugement attaqué, consid. 2c p. 7 s.).
2.5. Pour ces motifs, le grief tiré d'une violation du droit d'être entendu doit être rejeté dans la mesure de sa recevabilité.
3.
Le recourant reproche à la cour cantonale d'avoir rejeté sa requête tendant à la suspension de la procédure jusqu'à droit connu sur celle portant sur le changement d'affectation d'un atelier du bâtiment de l'intimée en salle de concert.
3.1. De manière générale, la décision de suspension relève du pouvoir d'appréciation du juge saisi, dont il doit faire usage en procédant à une pesée des intérêts des parties. Dans les cas limites ou douteux, le principe de célérité prime (<ref-ruling> consid. 5; <ref-ruling> consid. 1b).
3.2. L'autorité précédente a jugé que l'intérêt à la célérité l'emportait en l'espèce sur celui à l'économie de la procédure à mesure que, en matière de police du feu, la sécurité des usagers du bâtiment plaidait en faveur de la mise en place rapide d'une issue de secours (cf. arrêt attaqué, consid. 4 p. 11).
Cette approche ne prête aucunement le flanc à la critique. Cela est d'autant moins le cas que la Commune avait ordonné la création d'une telle voie d'évacuation en 2008 déjà, sans alors faire dépendre celle-ci de l'affectation actuelle ou projetée du bâtiment en cause. On ne voit pas non plus d'emblée que la voie d'évacuation ne soit pas conforme à la nouvelle affectation envisagée, ni qu'il soit impossible de procéder ultérieurement à des adaptations, dans le cas où l'issue de secours en question ne permettait pas d'absorber un éventuel accroissement du nombre d'usagers.
4.
Le recourant fait valoir que la voie d'évacuation projetée par l'intimée ne permet pas l'accès le plus direct en lieu sûr, en violation des art. 35 et 36 de la norme AEAI.
4.1.
4.1.1. D'après la jurisprudence, la norme AEAI est directement applicable à titre de droit intercantonal (cf. arrêts 1C_234/2020 du 5 février 2021 consid. 5; 1C_340/2015 du 16 mars 2016 consid. 7.1). En vertu de l'art. 95 let. e LTF, le recours peut être formé pour violation du droit intercantonal, soit de tous les accords passés entre les cantons, qu'ils revêtent ou non la forme d'un concordat (FF 2001 p. 4133). Le pouvoir d'examen du Tribunal fédéral n'est donc pas limité à l'arbitraire; la motivation du recours doit toutefois satisfaire aux exigences accrues de l'<ref-law>.
4.1.2. L'art. 35 al. 1 de la norme AEAI définit la voie d'évacuation comme le chemin le plus court qui peut être emprunté, depuis n'importe quel endroit du bâtiment ou de l'ouvrage, pour rejoindre un lieu sûr à l'air libre ou dans le bâtiment.
Selon l'art. 36 al. 1 de la norme AEAI, les voies d'évacuation, comme celles de sauvetage, doivent être disposées, dimensionnées et réalisées de manière à ce qu'elles puissent toujours être empruntées et en toute sécurité. Sont notamment déterminants l'affectation et la situation des bâtiments et des autres ouvrages ou des compartiments coupe-feu (let. a), la géométrie des bâtiments (let. b) et le nombre d'occupants (let. c). L'art. 37 al. 1 de la norme AEAI prescrit encore que les voies d'évacuation et de sauvetage peuvent servir de voies de communication; elles doivent toujours rester dégagées et utilisables en toute sécurité.
4.2. Le recourant soutient que la sortie de secours devrait se situer un étage plus bas que celle projetée, ce qui permettrait aux locataires du sous-sol du bâtiment (ceux du recourant) de n'avoir qu'un demi-étage à gravir pour l'atteindre (au lieu d'un étage et demi), alors que les employés de la carrosserie exploitée par l'intimée n'auraient qu'un demi-étage à descendre (au lieu d'un demi-étage à monter). Dans ce contexte, il se prévaut qu'en refusant de donner suite à sa requête tendant à l'établissement par l'ECAP d'une mesure chiffrée pour déterminer la voie d'évacuation la plus directe parmi les deux solutions proposées, la cour cantonale a établi les faits de manière inexacte.
4.2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3).
4.2.2. Il est constant en l'espèce que la demande de permis de construire avait été soumise au préavis de l'ECAP, qui avait considéré que l'emplacement prévu de la voie d'évacuation était conforme et permettait l'évacuation des usagers du bâtiment. Ce préavis avait de surcroît été confirmé par le spécialiste en prévention de l'ECAP lors de l'inspection locale du 19 octobre 2017, qui avait souligné que le projet était " possible d'un point de vue légal " (cf. arrêt attaqué, consid. 3c p. 9).
Certes, le spécialiste de l'ECAP avait relevé, lors de la même inspection locale, que la solution préconisée par le recourant " pouvait [également] convenir " (cf. arrêt attaqué, ibidem). Pour autant, alors que le recourant n'avait pas précisé la nature des activités menées par les locataires du sous-sol du bâtiment, la cour cantonale pouvait, sans arbitraire, prendre en considération que la création d'une sortie de secours à un niveau inférieur, telle que proposée par le recourant, obligerait les occupants des deux étages supérieurs à parcourir un étage supplémentaire en cas d'évacuation, soit en l'occurrence 14 marches d'escalier. Il fallait à cet égard tenir compte du fait que, selon l'ECAP, la source d'incendie la plus probable se situait au rez-de-chaussée, au regard des activités de carrosserie qui y étaient menées, le mouvement usuellement ascendant de la fumée consacrant à cet égard également un élément pertinent. Il était en outre apparu que les locataires du sous-sol bénéficiaient déjà d'une sortie de secours, débouchant sur la cage d'escalier de son immeuble.
4.3. Au regard de ces éléments, qui sont déduits tant du préavis du service compétent que des propres constatations de la cour cantonale, il ne saurait être reproché à cette dernière d'avoir arbitrairement écarté la réquisition de preuve du recourant, dont on comprend qu'elle n'était pas de nature à modifier son appréciation, au demeurant elle-même conforme au droit. Il n'y avait du reste pas non plus matière à examiner les critiques du recourant en lien avec le changement d'affectation projeté du sous-sol en salle de concert, s'agissant d'aspects qui sortaient du cadre de la procédure (cf. consid. 3 supra).
Il apparaît du reste que l'art. 35 de la norme AEAI laisse nécessairement subsister une certaine marge d'appréciation à l'autorité, respectivement aux services chargés de préaviser les projets de construction au regard de la protection contre les incendies. Ainsi, en tant que cette disposition prévoit que la voie d'évacuation doit représenter le " chemin le plus court qui peut être emprunté, depuis n'importe quel endroit du bâtiment ou de l'ouvrage, pour atteindre un lieu sûr ", elle pose un principe qui doit être relativisé au regard de la situation particulière de chaque bâtiment et du " lieu sûr " à prendre en considération. Il est en particulier indéniable qu'en fonction de l'emplacement du " lieu sûr " en cause, la longueur totale d'une voie d'évacuation est susceptible d'être plus importante pour une unité d'utilisation particulière et plus faible pour une autre.
On relèvera en outre que, contrairement à ce que plaide le recourant, la cour cantonale a adéquatement tenu compte des critères découlant de l'art. 36 al. 1 de la norme AEAI en matière de disposition de la voie d'évacuation, soit en particulier de l'affectation du rez-de-chaussée du bâtiment en carrosserie, consacrant selon l'ECAP l'endroit où le risque d'incendie était le plus élevé.
5.
Il s'ensuit que le recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires seront mis à la charge du recourant, qui succombe (<ref-law>). Ce dernier versera en outre des dépens à la constructrice intimée, qui a obtenu gain de cause avec l'assistance de son avocat (<ref-law>). La Commune, qui a agi dans le cadre de ses attributions officielles, n'a en revanche pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3.
Une indemnité de 3000 fr. est allouée à l'intimée, à la charge du recourant.
4.
Le présent arrêt est communiqué aux mandataires des parties, au Conseil communal de La Grande Béroche, au Conseil d'Etat de la République et canton de Neuchâtel et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lausanne, le 16 juillet 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Tinguely