Faits : A. A._ est propriétaire de plusieurs lots de propriété par étages de l'immeuble sis sur le bien-fonds n° 2895 du cadastre de la commune de Saint-Aubin. L'immeuble attenant directement à l'est, construit sur les bien-fonds n os 2896 et 2897, est la propriété de C._ Sàrl. L'immeuble du prénommé bénéficie d'une servitude de passage sur une cage d'escalier sise à l'ouest du bien-fonds n° 2896, pour laquelle la Commune de St-Aubin-Sauges (aujourd'hui: La Grande Béroche; ci-après: la Commune) avait ordonné la construction d'une sortie directe par décision du 11 avril 2008. Le 4 mai 2016, C._ Sàrl a déposé une demande de permis de construire pour la création d'une porte et d'un escalier pour sortie de secours. Par décision du 27 février 2017, la Commune a levé l'opposition formée par A._ et a autorisé la construction de la voie d'évacuation projetée. B. Le 3 avril 2017, A._ a saisi le Conseil d'Etat d'un recours contre cette autorisation (REC.2017.113); il soutenait que la sortie de secours projetée n'était pas l'accès le plus direct à l'air libre et qu'une autre cause (REC.2017.360) relative à la demande de C._ Sàrl de changer l'affectation d'un atelier sis sur la parcelle n° 2896 en salle de concert, était à même d'influencer le sort de la procédure relative à la sortie de secours. Après avoir procé dé à une inspection locale en date du 19 octobre 2017, le Conseil d'Etat a rejeté le recours formé par l'opposant, par décision du 17 janvier 2018; en substance, il a notamment considéré que l'issue de secours envisagée n'était pas incompatible avec le projet de salle de concert. C. A._ a formé recours auprès de la Cour de droit public du Tribunal cantonal (ci-après: la cour cantonale) contre la décision du Conseil d'Etat du 17 janvier 2018. Dans le cadre de l'instruction de ce recours, B._, collaborateur juridique au sein du Service juridique de l'Etat de Neuchâtel chargé de l'instruction des recours pendant devant le Conseil d'Etat, a rédigé des observations datées du 22 mars 2018 au nom du Conseil d'Etat; ce juriste a notamment décrit A._ comme " quelqu'un qui semble malheureusement être plus soucieux d'ennuyer son voisin que de voir le droit respecté ". A connaissance des observations du Conseil d'Etat, A._ a demandé la récusation du juriste chargé de l'instruction des dossiers REC.2017.113 et REC.2017.360, soutenant que celui-ci avait tenu des propos faisant naître un doute sur sa partialité; il affirme que la décision du Conseil d'Etat du 17 janvier 2018 doit être annulée pour ce motif. Par arrêt du 17 janvier 2019, la cour cantonale a, dans la cause REC.217.360, rejeté le recours déposé par A._ contre la décision du 9 juillet 2018 du Conseil d'Etat rejetant sa demande de récusation. Saisi d'un recours par l'intéressé, le Président de la Ire cour de droit public du Tribunal fédéral a, par ordonnance du 1er mai 2019 (cause 1C_82/2019), rayé la cause du rôle, considérant que la demande de récusation visant B._ pour les procédures de recours pendantes devant le Conseil d'Etat était devenue sans objet puisque celui-ci avait démissionné de ses fonctions de collaborateur juridique au sein du Service juridique. Par arrêt du 15 février 2019, la cour cantonale a rejeté le recours déposé par A._ contre la décision du Conseil d'Etat du 17 janvier 2018 (REC.2017.113). En substance, elle a notamment écarté le grief tiré de la prévention du juriste chargé de l'instruction des dossiers concernant le prénommé; elle a en outre considéré que l'emplacement de la voie d'évacuation tel que projeté par C._ Sàrl était conforme au droit. D. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer l'arrêt cantonal du 15 février 2019 en ce sens que la décision communale du 27 février 2017 accordant l'autorisation de construire la voie d'évacuation projetée par C._ Sàrl est annulée, que les frais des procédures de recours sont laissés à la charge de l'Etat et qu'une indemnité de dépens lui est allouée pour ces procédures. Subsidiairement, le recourant conclut à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'instance précédente pour nouvelle décision. Il sollicite également l'effet suspensif, ce qui a été refusé par ordonnance du 24 avril 2019.