Faits : A. Annoncée à l'assurance-chômage, A._ a bénéficié d'un délai-cadre d'indemnisation du 1er juillet 2011 au 30 juin 2013. Son droit aux indemnités de l'assurance-chômage a pris fin le 25 février 2013. Ensuite de la naissance de son second enfant, le 6 mars 2013, A._ a présenté une demande d'allocation de maternité à la Caisse cantonale neuchâteloise de compensation (ci-après: la caisse). Elle a indiqué avoir été soumise à un contrat de travail conclu avec l'Office des emplois temporaires du Service de l'emploi du canton de Neuchâtel du 28 février au 27 août 2013; elle avait cependant été incapable de travailler dès le 27 février 2013 pour cause de maladie. Par décision du 6 mai 2013, et après avoir requis l'avis de l'Office fédéral des assurances sociales (OFAS), la caisse a refusé d'allouer à A._ des allocations de maternité, au motif qu'elle n'était pas salariée au moment de son accouchement parce que le contrat qui la liait à l'Office des emplois temporaires ne présentait pas les caractéristiques impliquant un rapport d'échange en vertu duquel la travailleuse fournissait une prestation de travail à l'employeur contre rémunération. L'intéressée s'est opposée à cette décision, en invoquant son statut de salariée. La caisse a requis des renseignements complémentaires de l'Office des emplois temporaires. Celui-ci a indiqué avoir offert à A._ un emploi temporaire de vendeuse pour six mois auprès de B._, à Y._, dès le 28 février 2013, dans le cadre de mesures d'intégration professionnelle; un contrat de travail avait été établi le 6 mars 2013; l'intéressée avait débuté son activité le 28 février 2013, mais avait remis au responsable un certificat médical valable dès le 27 février 2013; elle avait repris son travail le 12 juin 2013 (courrier du 28 juin 2013). Le 8 juillet 2013, la caisse a rendu une décision (sur opposition), par laquelle elle a rejeté l'opposition, en considérant, entre autres éléments, que le type d'emploi temporaire cantonal en cause s'apparentait davantage à une aide financière octroyée aux chômeurs qu'à une rémunération pour un travail fourni, l'employée devant faire des recherches d'emploi pendant le temps de son engagement et rester disponible sur le marché du travail. B. Statuant le 31 janvier 2014 sur le recours formé par A._ contre cette décision, le Tribunal cantonal de la République et canton de Neuchâtel l'a admis. Annulant la décision sur opposition du 8 juillet 2013, il a renvoyé la cause à la caisse pour nouvelle décision dans le sens des considérants. C. Agissant par la voie du recours en matière de droit public, la caisse demande au Tribunal fédéral d'annuler le jugement cantonal et de confirmer sa décision sur opposition du 8 juillet 2013. À titre subsidiaire, elle conclut au renvoi de la cause à la juridiction cantonale pour nouvelle décision au sens des considérants. A._ conclut au rejet du recours, tandis que l'OFAS en propose l'admission.