Faits : A. A._ a travaillé depuis le 28 février 2011 en qualité d'aide de cuisine auxiliaire remplaçante au Centre B._ de la Ville de U._. Le contrat d'engagement passé le 24 février 2011 entre l'intéressée et la Municipalité de U._ indique que les rapports de travail reposent sur un contrat de droit privé, de durée indéterminée, fondé sur les dispositions du Code des obligations. L'horaire de travail était établi selon un planning établi par la directrice du B._. Le 11 septembre 2012, A._ a déposé une demande tendant à l'allocation d'une indemnité de chômage à compter du 3 septembre précédent, en indiquant qu'elle occupait encore un emploi d'auxiliaire au service de la Ville de U._ et qu'elle était disposée à travailler à plein temps. Par décision du 27 novembre 2012, la Caisse de chômage Unia (ci-après: la caisse) a nié le droit de l'assurée à l'indemnité de chômage au motif qu'elle ne subissait pas de perte de travail à prendre en considération. Elle a considéré que le travail sur appel effectué par l'intéressée ne présentait pas un caractère régulier. L'assurée a formé opposition contre cette décision en faisant valoir que les rapports de travail la liant à la Ville de U._ n'étaient pas régis par un contrat de travail sur appel mais qu'elle occupait un emploi d'auxiliaire. En outre, elle a indiqué que le Centre B._ avait été restructuré et que l'engagement d'une gestionnaire en intendance au mois de septembre 2012 avait eu pour effet de réduire très nettement les heures de travail que l'employeur pouvait lui proposer. Après avoir requis la production par la Ville de U._ de rapports détaillant les horaires de travail de l'assurée durant la période du mois de septembre 2011 au mois de juillet 2012, la caisse a rejeté l'opposition par décision du 3 mai 2013. B. Saisie d'un recours de l'assurée contre cette décision, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a ordonné, le 21 octobre 2013, une audience d'instruction complémentaire au cours de laquelle elle a entendu C._, chef du Service du personnel et de l'organisation de la Ville de U._. Statuant le 20 mars 2014, la cour cantonale a admis le recours, a annulé la décision sur opposition du 3 mai 2013 et renvoyé la cause à la caisse pour complément d'instruction et nouvelle décision au sens des considérants. Elle a retenu que les rapports de travail n'étaient pas régis par un contrat de travail sur appel mais par un contrat pour travail occasionnel et que l'assurée, partiellement sans emploi, subissait une perte de travail à prendre en considération ouvrant droit à l'indemnité de chômage. C. La caisse forme un recours en matière de droit public contre ce jugement dont elle requiert l'annulation en concluant à la confirmation de sa décision sur opposition du 3 mai 2013, sous suite de frais et dépens. L'intimée n'a pas répondu au recours. De son côté, la cour cantonale se réfère purement et simplement à son jugement, tandis que le Secrétariat d'Etat à l'économie (SECO) a renoncé à présenter des déterminations.