Faits :
A.
A._, née en _, physiothérapeute de formation, a travaillé en tant que _ au service de B._, du 1 er juin au 30 septembre 2010. Du 1 er octobre 2011 au 31 août 2012, elle a été employée comme physiothérapeute par C._ par contrat de durée déterminée. Il ressort de l'attestation de l'employeur du 11 septembre 2012 qu'au cours de ce dernier emploi, A._ a été en incapacité de travail dès le 2 avril 2012 jusqu'au 31 août suivant. Elle a perçu des indemnités journalières en cas de maladie durant la période du 2 avril au 18 juin 2012. Le 19 juin 2012, elle a donné naissance à une fille et perçu, du 19 juin au 24 septembre 2012, l'allocation journalière de maternité.
Le 8 août 2012, A._ s'est annoncée à l'assurance-chômage et a revendiqué l'indemnité de chômage à partir du 19 septembre 2012, précisant qu'elle était disposée à travailler à plein temps. Par décision du 26 novembre 2012, confirmée sur opposition le 28 février 2013, la Caisse de chômage du Jura a refusé de donner suite à sa demande d'indemnisation. Elle a retenu qu'en ne justifiant que de 11,934 mois d'activité soumise à cotisation durant le délai-cadre de deux ans sans pouvoir se prévaloir par ailleurs d'un motif de libération, A._ ne remplissait pas les conditions légales relatives à la période de cotisation.
B.
A._ a déféré la cause au Tribunal cantonal de la République et canton du Jura, Cour des assurances, qui a admis son recours, annulé la décision sur opposition du 28 février 2013 et renvoyé la cause à la caisse de chômage pour nouvelle décision dans le sens des considérants. Il a retenu qu'un délai-cadre de cotisation de quatre ans s'appliquait à la recourante conformément à l'<ref-law> et que dans ce délai, celle-ci pouvait justifier d'au moins douze mois d'activité soumise à cotisation.
C.
La caisse de chômage interjette un recours en matière de droit public contre cette décision. Elle conclut à l'annulation de l'arrêt attaqué.
La juridiction cantonale conclut au rejet du recours tandis que l'intimée ne s'est pas déterminée.

Considérant en droit :
1.
En tant qu'il renvoie la cause à la caisse pour nouvelle décision, le jugement entrepris doit être qualifié de décision incidente, qui ne peut être déférée immédiatement au Tribunal fédéral que si la condition du préjudice irréparable est réalisée (<ref-law>). En constatant, d'une part, qu'un délai-cadre de cotisation de quatre ans devait être appliqué pour déterminer le droit de l'intimée à l'indemnité de chômage et, d'autre part, que celle-ci pouvait justifier d'au moins douze mois d'activité soumise à cotisation durant ce délai-cadre, la juridiction cantonale a contraint la recourante à examiner les autres conditions du droit à l'indemnité de chômage. La caisse de chômage est tenue de prendre une décision qui, selon elle, est contraire au droit fédéral. En cela, elle subit un préjudice irréparable au sens de l'<ref-law>, de sorte qu'il y a lieu d'entrer en matière sur son recours (<ref-ruling> consid. 5.2 p. 483 ss).
2.
2.1. Selon l'art. 8 al. 1 let. e LACI (RS 837.0), l'assuré a droit à l'indemnité de chômage s'il remplit les conditions relatives à la période de cotisation ou en est libéré. Des délais-cadres de deux ans s'appliquent, en règle générale, aux périodes d'indemnisation et de cotisation (<ref-law>). Le délai-cadre applicable à la période de l'indemnisation commence à courir le premier jour où toutes les conditions dont dépend le droit à l'indemnité sont réunies (<ref-law>). Le délai-cadre applicable à la période de cotisation commence à courir deux ans plus tôt (<ref-law>). Celui qui, dans les limites du délai-cadre, a exercé durant douze mois au moins une activité soumise à cotisation remplit les conditions relatives à la période de cotisation (<ref-law>).
2.2. L'<ref-law> prévoit une réglementation spéciale en matière de délais-cadres en cas de période éducative. Cette disposition a la teneur suivante:
1 Le délai-cadre d'indemnisation de l'assuré qui s'est consacré à l'éducation de son enfant est prolongé de deux ans, aux conditions suivantes:
a. un délai-cadre d'indemnisation courait au début de la période éducative consacrée à un enfant de moins de dix ans;
b. à sa réinscription, l'assuré ne justifie pas d'une période de cotisation suffisante.
2 Le délai-cadre de cotisation de l'assuré qui s'est consacré à l'éducation de son enfant est de quatre ans si aucun délai-cadre d'indemnisation ne courait au début de la période éducative consacrée à un enfant de moins de dix ans.
3 Toute naissance subséquente entraîne une prolongation de deux ans au maximum de la période définie à l'al. 2.
4 Les al. 1 à 3 ne sont applicables, pour une même période éducative, qu'à un seul des deux parents et pour un seul enfant.
5 L'assuré ne peut toucher au total plus que le nombre maximum d'indemnités journalières fixé à l'art. 27.
(...)
2.3. Cette disposition vise deux hypothèses bien distinctes. L'<ref-law> prévoit une interruption d'un délai-cadre d'indemnisation en coursen faveur de l'assuré qui s'est consacré à l'éducation d'un enfant: le délai-cadre d'indemnisation est prolongé de deux ans. La seconde hypothèse est celle de la prolongation du délai-cadre de cotisation (si aucun délai-cadre d'indemnisation ne courait au début de la période éducative). Les personnes visées bénéficient d'un délai-cadre prolongé (quatre ans au total) pour remplir la condition d'une période de cotisation de douze mois. La personne assurée doit donc s'annoncer à l'assurance-chômage au plus tard trois ans après la dernière activité salariée qu'elle a exercée: dans le délai-cadre de quatre ans, la durée minimale de cotisation d'une année doit être remplie. Par ailleurs, une période éducative minimale n'est pas exigée (<ref-ruling> consid. 1.4 p. 150).
2.4. En l'occurrence, les premiers juges ont fait application de l'<ref-law>. Ils ont admis que la période pendant laquelle l'intimée avait perçu l'allocation de maternité comptait comme période de cotisation. Néanmoins, au vu de l'absence d'exercice effectif d'une activité lucrative pendant le congé maternité, ils ont assimilé cette période à une période éducative, de sorte que le délai de cotisation de l'intimée devait être prolongé de deux ans supplémentaires. Durant ce délai de cotisation de quatre ans, lequel s'étendait du 25 septembre 2008 au 24 septembre 2012, l'intimée avait travaillé du 1er juin au 30 septembre 2010 au service de B._ puis du 1er octobre 2011 au 2 avril 2012 pour le compte de C._. Du 2 avril au 18 juin 2012, elle avait été en incapacité de travail pour cause de maladie puis en congé maternité du 19 juin au 24 septembre 2012. Au cours du délai-cadre de cotisation prolongé, celle-ci pouvait ainsi justifier, selon les premiers juges, d'au moins douze mois de cotisations.
3.
La recourante conteste l'application de l'<ref-law> au cas d'espèce. Elle fait valoir que la prolongation du délai de cotisation de vingt-quatre mois suppose un lien de causalité - qui ferait défaut en l'occurrence - entre la période éducative et l'absence de cotisations suffisantes dans le délai-cadre de cotisation de deux ans.
3.1. La période de congé maternité pendant laquelle l'intimée a perçu des allocations perte de gain au sens de la LAPG (RS 834.1) - soit depuis la naissance de son enfant le 19 juin 2012 jusqu'au 24 septembre 2012 - compte comme période de cotisation (cf. Boris Rubin, Commentaire de la loi sur l'assurance-chômage, 2014, n° 11 ad <ref-law>; Sabine Steiger-Sackmann, Mutterschaftsentschädigung in Sozialversicherungen, Opferhilfe, Sozialhilfe, Beraten und Prozessieren, 2014, p. 1173 n. 32.89). La caisse de chômage en a tenu compte puisqu'elle a calculé la période de cotisation jusqu'au 24 septembre 2012.
3.2. Le mécanisme de prolongation des délais-cadres au sens de l'<ref-law> n'est réservé qu'aux personnes qui se sont véritablement retirées un temps du marché du travail en raison de l'éducation d'un enfant et n'ont pu, de ce fait, accomplir une période de cotisation suffisante (Boris Rubin, op. cit., n° 4 ad <ref-law>). Il doit dès lors exister un lien de causalité entre la lacune de cotisation pendant le délai-cadre ordinaire de deux ans et le temps consacré à l'éducation d'un enfant (cf. <ref-ruling> consid. 9.1 p. 487). Ce mécanisme ne s'applique pas aux personnes qui, par exemple, ne se sont retirées du marché du travail que durant la période de perception de l'allocation de maternité. En effet, ce laps de temps compte comme période de cotisation et ne saurait dès lors être considéré comme étant à l'origine d'une lacune de cotisation due à une période éducative (Boris Rubin, ibidem).
3.3. Dans le cas d'espèce, la période pendant laquelle l'intimée s'est retirée du marché du travail pour s'occuper de son enfant, soit du 19 juin au 24 septembre 2012, compte comme période de cotisation. Par conséquent, ce laps de temps ne saurait être considéré comme étant la cause de l'absence de cotisations due à une période éducative. En retenant que la période durant laquelle l'intimée a perçu l'allocation de maternité comptait néanmoins comme période éducative et en prolongeant son délai-cadre de cotisation de deux ans supplémentaires, la juridiction cantonale a par conséquent violé le droit fédéral.
4.
4.1. Dans une motivation subsidiaire, la juridiction cantonale a retenu que même dans l'hypothèse où c'est un délai-cadre de cotisation de deux ans qui devrait s'appliquer, s'étendant alors du 25 septembre 2010 au 24 septembre 2012, la période minimale de cotisation de douze mois serait atteinte dans le cas particulier. Elle a tenu compte, pour la période du 25 au 30 septembre 2010, de 6 jours ouvrables, soit 8,4 jours civils (6 x 1,4) dès lors que l'intimée travaillait également à _ le samedi et le dimanche (2 jours assimilés à des jours ouvrables durant la semaine du 20 au 26 septembre 2010 et 4 jours ouvrables durant la semaine du 27 au 30 septembre 2010). Après conversion des jours en mois (trente jours sont réputés un mois de cotisation), on aboutissait à une durée de cotisation de 0,28 mois, venant s'ajouter aux 11,747 mois de cotisations au cours de l'activité chez C._, dont le calcul n'est pas litigieux. Au total, cela revenait à une durée de cotisation de 12,027 mois, qui se situe au-delà de la période minimale de cotisation de douze mois.
4.2. La recourante conteste le calcul effectué par la juridiction cantonale. Elle fait valoir que durant la période du 25 au 30 septembre 2010, seuls quatre jours peuvent être pris en compte et non pas six.
La condition de la durée minimale d'activité soumise à cotisation s'examine au regard de la durée formelle du rapport de travail considéré (voir THOMAS NUSSBAUMER, Arbeitslosenversicherung, in Soziale Sicherheit, SBVR vol. XIV, 2007 p. 2240 n. 209). Ainsi, chaque mois civil entier durant lequel l'assuré est soumis à cotisation dans le cadre d'un rapport de travail compte comme mois de cotisation (<ref-law>; RS 837.02). Les périodes de cotisation qui n'atteignent pas un mois civil entier sont additionnées; 30 jours sont alors réputés constituer un mois de cotisation (<ref-law>). Pour la conversion d'une journée de travail, on utilise le facteur 1,4 (7 jours civils : 5 jours ouvrables = 1,4 [voir <ref-ruling> consid. 2c p. 251 et 256 consid. 5a p. 264]).
Selon la Circulaire relative à l'indemnité de chômage (IC) du seco (ch. B 150), - dont la légalité n'est sur ce point pas discutable (cf. SVR 2007 ALV n o 15 p. 50, C 222/06 consid. 4.1) - , lorsque le début ou la fin de l'activité soumise à cotisation ne coïncide pas avec le début ou la fin d'un mois civil, les jours ouvrables correspondants sont convertis en jours civils au moyen du facteur 1,4. Seuls sont réputés jours ouvrables les jours du lundi au vendredi. Les jours de travail qui tombent sur un samedi ou un dimanche sont considérés comme jours ouvrables jusqu'au maximum de cinq jours de travail par semaine. Cette limite maximale est le résultat de la conversion des cinq jours ouvrables en sept jours civils (7:5 = 1,4).
4.3. Contrairement à ce qu'a retenu la juridiction cantonale, il n'y a pas lieu de considérer les samedi 25 et dimanche 26 septembre 2010 comme jours ouvrables car au cours de la semaine du lundi 20 au dimanche 26 septembre 2010, le maximum de cinq jours ouvrables était déjà atteint, l'intimée ayant travaillé tous les jours de la semaine. Seuls peuvent dès lors être pris en compte les quatre jours ouvrables durant la semaine du lundi 27 septembre au dimanche 3 octobre 2010. Il en résulte que pour la période du 25 au 30 septembre 2010, seuls quatre jours peuvent être portés en compte dans le calcul de la période de cotisation, ce qui correspond à 5,6 jours civils (4 x 1,4). Après conversion de ces jours en mois, on obtient une durée de cotisation totale de 11,934 mois de cotisations (0,187 + 11,747), insuffisante pour satisfaire à l'exigence de l'<ref-law>.
5.
Vu ce qui précède, l'intimée ne pouvait se prévaloir d'une période de cotisation de douze mois au moins pendant le délai-cadre s'étendant du 25 septembre 2010 au 24 septembre 2012. Partant, le recours de la caisse de chômage est bien fondé et le jugement attaqué doit être annulé.
6.
L'intimée, qui succombe, doit supporter les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et le jugement de la Cour des assurances sociales du Tribunal cantonal de la République et canton du Jura du 19 juillet 2013 est annulé. La décision sur opposition de la Caisse publique d'assurance-chômage de la République et canton du Jura du 28 février 2013 est confirmée.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Cour des assurances, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 11 août 2014
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : Fretz Perrin