Faits :
A.
A._ est propriétaire de plusieurs lots de propriété par étages de l'immeuble sis sur le bien-fonds n° 2895 du cadastre de la commune de Saint-Aubin. L'immeuble attenant directement à l'est, construit sur les bien-fonds n os 2896 et 2897, est la propriété de C._ Sàrl. L'immeuble du prénommé bénéficie d'une servitude de passage sur une cage d'escalier sise à l'ouest du bien-fonds n° 2896, pour laquelle la Commune de St-Aubin-Sauges (aujourd'hui: La Grande Béroche; ci-après: la Commune) avait ordonné la construction d'une sortie directe par décision du 11 avril 2008.
Le 4 mai 2016, C._ Sàrl a déposé une demande de permis de construire pour la création d'une porte et d'un escalier pour sortie de secours. Par décision du 27 février 2017, la Commune a levé l'opposition formée par A._ et a autorisé la construction de la voie d'évacuation projetée.
B.
Le 3 avril 2017, A._ a saisi le Conseil d'Etat d'un recours contre cette autorisation (REC.2017.113); il soutenait que la sortie de secours projetée n'était pas l'accès le plus direct à l'air libre et qu'une autre cause (REC.2017.360) relative à la demande de C._ Sàrl de changer l'affectation d'un atelier sis sur la parcelle n° 2896 en salle de concert, était à même d'influencer le sort de la procédure relative à la sortie de secours. Après avoir procé dé à une inspection locale en date du 19 octobre 2017, le Conseil d'Etat a rejeté le recours formé par l'opposant, par décision du 17 janvier 2018; en substance, il a notamment considéré que l'issue de secours envisagée n'était pas incompatible avec le projet de salle de concert.
C.
A._ a formé recours auprès de la Cour de droit public du Tribunal cantonal (ci-après: la cour cantonale) contre la décision du Conseil d'Etat du 17 janvier 2018. Dans le cadre de l'instruction de ce recours, B._, collaborateur juridique au sein du Service juridique de l'Etat de Neuchâtel chargé de l'instruction des recours pendant devant le Conseil d'Etat, a rédigé des observations datées du 22 mars 2018 au nom du Conseil d'Etat; ce juriste a notamment décrit A._ comme " quelqu'un qui semble malheureusement être plus soucieux d'ennuyer son voisin que de voir le droit respecté ".
A connaissance des observations du Conseil d'Etat, A._ a demandé la récusation du juriste chargé de l'instruction des dossiers REC.2017.113 et REC.2017.360, soutenant que celui-ci avait tenu des propos faisant naître un doute sur sa partialité; il affirme que la décision du Conseil d'Etat du 17 janvier 2018 doit être annulée pour ce motif.
Par arrêt du 17 janvier 2019, la cour cantonale a, dans la cause REC.217.360, rejeté le recours déposé par A._ contre la décision du 9 juillet 2018 du Conseil d'Etat rejetant sa demande de récusation. Saisi d'un recours par l'intéressé, le Président de la Ire cour de droit public du Tribunal fédéral a, par ordonnance du 1er mai 2019 (cause 1C_82/2019), rayé la cause du rôle, considérant que la demande de récusation visant B._ pour les procédures de recours pendantes devant le Conseil d'Etat était devenue sans objet puisque celui-ci avait démissionné de ses fonctions de collaborateur juridique au sein du Service juridique.
Par arrêt du 15 février 2019, la cour cantonale a rejeté le recours déposé par A._ contre la décision du Conseil d'Etat du 17 janvier 2018 (REC.2017.113). En substance, elle a notamment écarté le grief tiré de la prévention du juriste chargé de l'instruction des dossiers concernant le prénommé; elle a en outre considéré que l'emplacement de la voie d'évacuation tel que projeté par C._ Sàrl était conforme au droit.
D.
Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer l'arrêt cantonal du 15 février 2019 en ce sens que la décision communale du 27 février 2017 accordant l'autorisation de construire la voie d'évacuation projetée par C._ Sàrl est annulée, que les frais des procédures de recours sont laissés à la charge de l'Etat et qu'une indemnité de dépens lui est allouée pour ces procédures. Subsidiairement, le recourant conclut à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'instance précédente pour nouvelle décision. Il sollicite également l'effet suspensif, ce qui a été refusé par ordonnance du 24 avril 2019.

Le Conseil d'Etat et la cour cantonale concluent au rejet du recours. La Commune considère que le dossier est conforme aux législations en vigueur. C._ Sàrl conclut au rejet du recours aux termes de ses observations. Le recourant réplique et l'intimée duplique.
Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours en matière de droit public est en principe recevable, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a participé à la procédure devant l'instance précédente. En tant que copropriétaire d'une parcelle directement voisine du projet, il est particulièrement touché par l'arrêt attaqué confirmant l'octroi d'un permis de construire pour un projet de construction qu'il tient en particulier pour non conforme au droit. Il peut ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Il a dès lors qualité pour agir au sens de l'<ref-law>.
Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Invoquant une violation de l'art. 29 al. 1 Cst., le recourant affirme que plusieurs circonstances constatées objectivement donneraient, à tout le moins l'apparence, d'une prévention de B._ à son encontre.
2.1. L'art. 29 al. 1 Cst. permet notamment d'exiger la récusation des membres d'une autorité administrative dont la situation ou le comportement sont de nature à faire naître un doute sur leur indépendance ou leur impartialité; il tend à éviter que des circonstances extérieures à l'affaire ne puissent influencer une décision en faveur ou au détriment de la personne concernée. La récusation peut s'imposer même si une prévention effective du membre de l'autorité visée n'est pas établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Cependant, seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une personne impliquée ne sont pas décisives (cf. <ref-ruling> consid. 4.2 et les réf. cit.; <ref-ruling> consid. 2b; <ref-ruling> consid. 3b; arrêt 2C_238/2018 du 28 mai 2018 consid. 4.2).
En règle générale, les prises de position qui s'inscrivent dans l'exercice normal des fonctions gouvernementales, administratives ou de gestion, ou dans les attributions normales de l'autorité partie à la procédure, ne permettent pas, dès lors que l'autorité s'exprime avec la réserve nécessaire, de conclure à l'apparence de la partialité et ne sauraient justifier une récusation, au risque sinon de vider de son sens la procédure administrative (<ref-ruling> consid. 5.2 p. 330; <ref-ruling> consid. 5.2 p. 452; arrêts 1C_44/2019 du 29 mai 2019 consid. 5.1; 2C_931/2015 du 12 octobre 2016 consid. 5.1 et les références citées).
Par ailleurs, selon la jurisprudence, des erreurs de procédure ou d'appréciation commises par la personne en cause ne suffisent pas à fonder objectivement un soupçon de prévention, à moins qu'elles soient particulièrement lourdes ou répétées et qu'elles constituent des violations graves de ses devoirs qui dénotent une intention de nuire (<ref-ruling> consid. 2.3 p. 146 et les arrêts cités; <ref-ruling> consid. 3e p. 124).
2.2. L'instance précédente s'est référée aux motifs développés dans son arrêt rendu le 17 janvier 2019 pour écarter le grief tiré de la prévention de B._. A ses yeux, les éléments avancés par le recourant ne permettaient pas de conclure à une apparence objective de partialité et de retenir l'existence d'un motif de récusation.
Le recourant conteste cette appréciation, affirmant la prévention de B._ à tout le moins au niveau des apparences. Il se prévaut tout d'abord des observations du 22 mars 2018 rédigées et signées par B._ au nom du Conseil d'Etat. Ce dernier précisait notamment en réponse au moyen pris d'une sérieuse absence de motivation de la décision attaquée qu'il ne fallait pas voir dans la courte motivation de sa part une violation du droit d'être entendu du recourant mais plutôt une réponse appropriée à un grief peu consistant, "soulevé par quelqu'un qui semble malheureusement être plus soucieux d'ennuyer son voisin que de voir le droit respecté".
L'opinion litigieuse exprimée par B._ est, comme relevé par l'instance précédente, étrangère au fond de l'affaire concernée et n'est pas utile à la résolution du litige. Cette remarque témoigne manifestement d'une appréciation négative de la part de celui qui la formule. Elle prend en l'espèce une dimension particulière puisqu'elle émane de la personne appelée à instruire les recours et à rédiger les propositions de décisions sur recours à l'attention du Conseil d'Etat et qui doit faire preuve de réserve à l'égard des parties ainsi que de retenue dans l'expression, tant écrite qu'orale. Déplacée et malvenue, la remarque écrite de B._ pouvait ainsi objectivement être ressentie par le recourant comme la marque d'une défiance à son encontre.
A cet élément s'ajoutent des erreurs de procédure ou d'appréciation commises par B._. Celui-ci a notamment statué lui-même par décision du 19 avril 2018 sur la requête de récusation déposée par le recourant à son encontre, violant ainsi les règles de compétence ratione materiae; la cour cantonale a constaté par décision du 19 juin 2018 que cette décision était affectée d'un vice grave emportant sa nullité. Une telle erreur apparaît particulièrement grave. L'instance précédente a également relevé, dans l'arrêt entrepris, que le Conseil d'Etat avait, dans sa décision du 17 janvier 2018 rédigée par l'intimé, excédé son pouvoir d'appréciation en octroyant la totalité des dépens réclamé par l'avocat de la partie adverse en raison de " l'attitude du recourant ", alors qu'un tel critère n'était pas prévu par la loi cantonale applicable et qu'aucun détail n'était donné au sujet de cette attitude.
Par conséquent, le cumul de ces éléments permet objectivement de retenir une apparence de prévention de B._, lequel a participé à la rédaction de la décision du Conseil d'Etat du 17 janvier 2018. Il y a donc lieu de constater que la garantie d'impartialité du Conseil d'Etat n'était, pour ce motif, pas respectée lorsqu'il a rendu cette décision. En n'annulant pas la décision du Conseil d'Etat, le Tribunal cantonal a donc violé l'art. 29 al. 1 Cst.
2.3. Le recours devant être admis pour ce seul motif, il n'y a pas lieu d'examiner les autres griefs soulevés par le recourant.
3.
Il s'ensuit que le recours doit être admis. L'arrêt du 15 février 2019 du Tribunal cantonal et la décision du 17 janvier 2018 du Conseil d'Etat sont annulés. La cause est renvoyée au Conseil d'Etat pour reprise de l'instruction et nouvelle décision au fond.
Il est statué sans frais (art. 66 al. 1 et 4 LTF). L'admission du recours étant fondée sur un motif lié à la composition irrégulière de l'autorité administrative, l'Etat de Neuchâtel versera des dépens au recourant, qui obtient gain de cause avec l'assistance d'un avocat (art. 66 al. 1 et 5 LTF). La cause est renvoyée au Tribunal cantonal pour qu'il procède à une nouvelle répartition des frais et dépens de la procédure cantonale antérieure devant lui et devant le Conseil d'Etat (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt attaqué et la décision du 17 janvier 2018 du Conseil d'Etat de la République et canton de Neuchâtel sont annulés. La cause est renvoyée au Conseil d'Etat pour reprise de l'instruction et nouvelle décision au fond, ainsi qu'au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure cantonale.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de dépens de 3'000 francs est allouée au recourant, à la charge de l'Etat de Neuchâtel.
4.
Le présent arrêt est communiqué aux parties, au Conseil communal de La Grande Béroche, au Conseil d'Etat de la République et canton de Neuchâtel, ainsi qu'au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lausanne, le 7 janvier 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Arn