Faits :
A.
Par jugement du 26 janvier 2012, le Tribunal régional du Littoral et du Val-de-Travers a prononcé la faillite de B._ SA. Le lendemain, l'office des faillites a résilié, pour le prochain terme légal, le contrat de travail de A._, directrice générale de la faillite depuis le 1 er septembre 2011, inscrite à ce titre au registre du commerce, avec signature individuelle, depuis le 13 octobre 2011.
Le 29 janvier 2012, la prénommée a déposé une demande d'indemnité en cas d'insolvabilité auprès de la Caisse cantonale neuchâteloise d'assurance-chômage (ci-après: CCNAC). Par décision du 7 février 2012, confirmée sur opposition le 26 avril 2012, cette dernière a refusé de lui ouvrir le droit à cette prestation au motif tiré de la fonction dirigeante qu'elle occupait dans la société B._ SA.
Saisie par l'intéressée d'un recours contre cette décision, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel a, par arrêt du 6 décembre 2012, annulé celle-ci et renvoyé la cause à la CCNAC pour qu'elle examine, en fonction des circonstances concrètes, l'étendue du pouvoir de décision dont la directrice générale de B._ SA était investie, et rende une nouvelle décision.
Le 4 septembre 2013, la CCNAC a rendu une nouvelle décision de refus d'ouverture du droit aux prestations en cas d'insolvabilité, à laquelle A._ a fait opposition. Par décision du 1 er juillet 2014, la CCNAC a rejeté l'opposition et confirmé son prononcé du 4 septembre 2013.
B.
A._ ayant recouru contre la décision sur opposition du 1 er juillet 2014, la Cour de droit public du Tribunal cantonal l'a annulée et renvoyé la cause à la CCNAC pour nouvelle décision selon les considérants.
C.
LA CCNAC exerce un recours en matière de droit public dans lequel elle conclut à l'annulation de l'arrêt cantonal. Elle a requis l'effet suspensif à son recours.
A._ conclut au rejet du recours ainsi qu'au rejet de la requête d'effet suspensif. Le Secrétariat d'Etat à l'économie ne s'est pas déterminé.
Par ordre du juge instructeur, l'effet suspensif au recours a été accordé à titre superprovisoire le 11 décembre 2015.

Considérant en droit :
1.
En tant qu'il renvoie la cause à la recourante pour qu'elle statue à nouveau dans le sens des considérants, le jugement entrepris doit être qualifié de décision incidente au sens de l'<ref-law> (<ref-ruling> consid. 3.1 p. 325; <ref-ruling> consid. 4.2 p. 481 s.). Cet arrêt de renvoi impose à l'autorité de rendre une décision qu'elle estime être contraire au droit fédéral. En cela, elle subit un préjudice irréparable au sens de l'<ref-law>. Partant, son recours est recevable.
2.
Dans le cadre de l'échange d'écritures, l'intimée a produit une ordonnance de classement rendue à son égard le 21 mars 2016 par le Ministère public du canton de Neuchâtel.
Conformément à l'<ref-law>, aucun fait nouveau ou preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. L'ordonnance de classement, postérieure à l'arrêt entrepris, constitue un vrai nova qui échappe à la cognition du Tribunal fédéral (<ref-ruling> consid. 2.2 p. 344). Quoi qu'il en soit, il n'apparaît pas de nature à influer sur le sort de la présente procédure.
3.
Le litige porte sur le droit de l'assurée à des indemnités en cas d'insolvabilité à la suite de la faillite de B._ SA.
4.
4.1. Selon l'<ref-law>, les travailleurs assujettis au paiement des cotisations, qui sont au service d'un employeur insolvable sujet à une procédure d'exécution forcée en Suisse ou employant des travailleurs en Suisse, ont droit à une indemnité pour insolvabilité (ci-après: indemnité) notamment lorsqu'une procédure de faillite est engagée contre leur employeur et qu'ils ont, à ce moment-là, des créances de salaire envers lui (let. a). N'ont pas droit à l'indemnité les personnes qui fixent les décisions que prend l'employeur - ou peuvent les influencer considérablement - en qualité d'associé, de membre d'un organe dirigeant de l'entreprise ou encore de détenteur d'une participation financière à l'entreprise; il en va de même des conjoints de ces personnes, lorsqu'ils sont occupés dans la même entreprise (<ref-law>).
4.2. Selon la jurisprudence relative à l'art. 31 al. 3 let. c LACI - lequel, dans une teneur identique, exclut du droit à l'indemnité en cas de réduction de l'horaire de travail le même cercle de personnes que celui visé par l'<ref-law> et auquel on peut se référer par analogie (arrêt 8C_279/2010 du 18 juin 2010 consid. 2; cf. aussi BORIS RUBIN Commentaire de la loi sur l'assurance-chômage, 2014, n° 16 ad <ref-law>) -, il n'est pas admissible de refuser, de façon générale, le droit aux prestations aux employés au seul motif qu'ils peuvent engager l'entreprise par leur signature et qu'ils sont inscrits au registre du commerce (<ref-ruling> consid. 3 p. 272 s., 120 V 521, voir aussi THOMAS NUSSBAUMER, Arbeitslosenversicherung, in Soziale Sicherheit, SBVR vol. 14, 3e éd. 2016, n° 465 p. 2405). On ne saurait se fonder de façon stricte sur la position formelle de l'organe à considérer mais il faut bien plutôt établir l'étendue du pouvoir de décision en fonction des circonstances concrètes. C'est donc la notion matérielle de l'organe dirigeant qui est déterminante, car c'est la seule façon de garantir que l'art. 31 al. 3 let. c LACI, qui vise à combattre les abus, remplisse son objectif (arrêt 8C_84/2008 du 3 mars 2009 [DTA 2009 p. 177]; arrêt C 102/96 du 26 mars 1997 consid. 5d [SVR 1997 ALV n° 101 p. 309]; arrêt 8C_1044/2008 du 13 février 2009 consid. 3.2.1).
4.3. En édictant l'alinéa 2 de l'<ref-law>, le législateur a voulu exclure d'une protection particulière les personnes qui exercent aussi bien une influence sur la conduite des affaires et sur la politique de l'entreprise qu'un droit de regard sur les pièces comptables et ne sont, de ce fait, pas surprises par la faillite subite de l'employeur (FF 1994 I p. 362). Si le fait de disposer d'un droit de regard sur la comptabilité est un indice de l'influence que peut exercer un travailleur sur le processus de décision de l'entreprise, il ne saurait constituer un motif indépendant d'exclusion. Le comptable responsable serait sinon exclu d'office du droit à l'indemnité en raison de sa fonction au sein de l'entreprise. Une telle sanction serait incompatible avec le texte clair et la ratio legis de l'<ref-law>, qui suppose, en priorité, que la personne exclue du droit puisse exercer une influence déterminante sur la conduite des affaires de l'employeur (cf. BORIS RUBIN, ibidem). Ce qui est décisif, c'est de savoir si l'employé a pu prendre une part prépondérante à la formation de la volonté de la société, dans les domaines qui touchent à l'orientation, à l'étendue ou à la cessation de l'activité (cf. arrêt C 160/05 du 24 janvier 2006, consid. 6). Dans cette dernière hypothèse, un assuré n'a pas droit à l'indemnité, car il peut lui-même décider de l'étendue de son droit, avec les risques d'abus que cela comporte.
5.
Les premiers juges ont constaté que lors de sa séance du 30 septembre 2011, le Conseil d'administration de B._ SA avait donné à l'intimée un pouvoir de signature individuel "afin d'assurer le suivi courant des affaires". Selon la juridiction cantonale, ce suivi avait nécessairement amené A._ à avoir une bonne connaissance de la société dont elle était directrice, si bien qu'il n'était pas étonnant qu'elle ait pu, assistée pour les questions relatives à la comptabilité de l'expert-comptable de la société, répondre aux demandes de l'office des faillites. La juridiction cantonale a examiné diverses pièces produites par la caisse. Parmi celles-ci figuraient un contrat de mandat de gestion des ressources humaines conclu par l'intimée mais préalablement discuté avec l'administrateur vice-président de B._ SA, un contrat d'engagement d'un responsable marketing, un procès-verbal d'audience de tribunal où la directrice avait représenté la société dans une action en paiement introduite par une agence de voyage, différents courriers se référant à des entretiens portant sur les cotisations sociales en souffrance auxquels l'intimée avait participé avec des représentants de la Caisse cantonale neuchâteloise de compensation ou encore divers courriers sans réelle importance qu'elle avait signés ès qualité. En dépit de ces documents, la juridiction cantonale concevait mal que l'intimée ait pu exercer une influence déterminante sur la conduite des affaires de la société ou sur les options stratégiques prises par les administrateurs. Cette absence d'influence était d'autant plus frappante que même dans les relations avec la société C._, les courriers signés par la directrice étaient considérés comme dépourvus de toute valeur probante, au motif que sa signature n'avait jamais été déposée auprès de la société C._ (sur ce point, la juridiction cantonale revoie à une décision de la Commission de discipline de la société C._ du 14 décembre 2011). Les premiers juges en ont conclu qu'il n'apparaissait pas, au degré de la vraisemblance prépondérante, que l'intimée pesait dans le processus de décision de la société, voire y participait et qu'elle faisait par conséquent partie du cercle des personnes exclues du droit à l'indemnité au sens de l'<ref-law>. Par ailleurs, le défaut de contestation de la collocation de sa production en 3 ème classe n'y changeait rien dès lors qu'on ne pouvait y voir une reconnaissance implicite d'une position dirigeante au sein de B._ SA. Aussi les premiers juges ont-ils renvoyé la cause à la caisse de chômage pour qu'elle rende une nouvelle décision après avoir vérifié si les autres conditions du droit à l'indemnité pour insolvabilité étaient remplies.
6.
6.1. La recourante se plaint de l'établissement inexact des faits par la juridiction cantonale (<ref-law>) et d'une violation par celle-ci de l'<ref-law>. Elle reproche à la Cour cantonale de ne pas avoir tenu compte d'un certain nombre d'éléments qui, selon elle, démontreraient que l'intimée exerçait un droit de regard sur les comptes de B._ SA. Il en allait ainsi de la signature de documents par l'intimée en vue de l'ouverture d'un compte auprès de la Banque D._, de la possibilité qu'avait eu l'intimée de s'exprimer sur le document fourni à l'époque à titre de garantie de la Banque E._, laquelle était destinée à servir de garantie pour éviter la mise en faillite de la société, de la signature par l'intimée de la procuration en faveur de M e F._ le 20 décembre 2011 ainsi que de la signature des courriers en lien avec les relations bancaires de B._ SA, les contrats de leasing, les courriers avec la société C._ et ceux relatifs au transfert des joueurs. La recourante soutient qu'au vu de ses prérogatives au sein de la société, l'intimée avait eu la possibilité d'influencer les prises de décisions importantes pour l'avenir de la société.
6.2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 4.2 p. 234) - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Si le recourant entend se prévaloir de constatations de faits différentes de celles de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui retenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356 et les arrêts cités).
6.3. La recourante méconnaît ces principes et présente sa propre appréciation des faits, sans tenir compte des constatations cantonales ni invoquer leur caractère manifestement inexact ou arbitraire, ce qui n'est pas admissible. Par ailleurs, elle n'expose pas en quoi le tribunal cantonal aurait apprécié la situation de façon insoutenable lorsqu'il a admis que malgré le droit de regard dont disposait l'intimée dans les comptes de la société, celle-ci n'avait pas pu avoir une influence déterminante sur la conduite des affaires de la société ou sur les options stratégiques prises par ses administrateurs. S'il y a lieu d'admettre, au vu des faits constatés par la juridiction cantonale, que l'intimée avait certes un droit de regard assez étendu sur la comptabilité de l'entreprise et qu'elle disposait d'un certain pouvoir décisionnel nécessairement lié à sa fonction de directrice, on ne saurait pour autant considérer qu'elle a pu prendre une part prépondérante à la formation de la volonté de la société, en particulier qu'elle pouvait exercer une influence sur la cessation de l'activité de celle-ci. Par conséquent, l'intimée ne pouvait pas être exclue, en raison de sa seule position dans l'entreprise, du droit à l'indemnité pour insolvabilité. Il suit de là que le recours doit être rejeté.
7.
La recourante, qui succombe, doit supporter les frais de la présente procédure (<ref-law>). L'intimée, qui est représentée par une avocate, a droit à une indemnité de dépens à la charge de la recourante (<ref-law>).
8.
La cause étant tranchée, la requête d'effet suspensif n'a plus d'objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3.
La recourante versera à l'intimée la somme de 2'800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La requête d'effet suspensif est sans objet.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 6 juillet 2016
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin