Faits : A. A._, née en _, physiothérapeute de formation, a travaillé en tant que _ au service de B._, du 1 er juin au 30 septembre 2010. Du 1 er octobre 2011 au 31 août 2012, elle a été employée comme physiothérapeute par C._ par contrat de durée déterminée. Il ressort de l'attestation de l'employeur du 11 septembre 2012 qu'au cours de ce dernier emploi, A._ a été en incapacité de travail dès le 2 avril 2012 jusqu'au 31 août suivant. Elle a perçu des indemnités journalières en cas de maladie durant la période du 2 avril au 18 juin 2012. Le 19 juin 2012, elle a donné naissance à une fille et perçu, du 19 juin au 24 septembre 2012, l'allocation journalière de maternité. Le 8 août 2012, A._ s'est annoncée à l'assurance-chômage et a revendiqué l'indemnité de chômage à partir du 19 septembre 2012, précisant qu'elle était disposée à travailler à plein temps. Par décision du 26 novembre 2012, confirmée sur opposition le 28 février 2013, la Caisse de chômage du Jura a refusé de donner suite à sa demande d'indemnisation. Elle a retenu qu'en ne justifiant que de 11,934 mois d'activité soumise à cotisation durant le délai-cadre de deux ans sans pouvoir se prévaloir par ailleurs d'un motif de libération, A._ ne remplissait pas les conditions légales relatives à la période de cotisation. B. A._ a déféré la cause au Tribunal cantonal de la République et canton du Jura, Cour des assurances, qui a admis son recours, annulé la décision sur opposition du 28 février 2013 et renvoyé la cause à la caisse de chômage pour nouvelle décision dans le sens des considérants. Il a retenu qu'un délai-cadre de cotisation de quatre ans s'appliquait à la recourante conformément à l'art. 9b al. 2 LACI et que dans ce délai, celle-ci pouvait justifier d'au moins douze mois d'activité soumise à cotisation. C. La caisse de chômage interjette un recours en matière de droit public contre cette décision. Elle conclut à l'annulation de l'arrêt attaqué. La juridiction cantonale conclut au rejet du recours tandis que l'intimée ne s'est pas déterminée.