Faits : A. A.a. Le 1er février 2009, la société A._ SA (ci-après: la défenderesse, la recourante) et B._ (ci-après: la demanderesse, l'intimée) ont conclu un contrat de travail à durée indéterminée. La demanderesse était responsable du nettoyage et du matériel au sein de la société, le contrat de travail précisant toutefois que d'autres tâches pouvaient lui être confiées. Ce contrat fixait la durée hebdomadaire de travail à 40 heures et précisait que les heures supplémentaires étaient compensées par le salaire et les 6 semaines de vacances annuelles. Il prévoyait également qu'en cas d'absence pour cause de maladie, la demanderesse était tenue de se manifester immédiatement auprès de la défenderesse. La demanderesse n'était soumise à aucun système de contrôle automatisé des présences. A.b. Du 28 juillet au 31 août 2011, la demanderesse a été en incapacité de travail en lien avec une opération de la matrice. Du 14 juillet au 5 août 2012, la demanderesse était en vacances au Portugal. Une attestation établie le 15 octobre 2012 par un médecin portugais indique que la demanderesse n'a pas pu profiter de ses vacances puisqu'elle souffrait de calculs biliaires. Dans la nuit du 5 au 6 août 2012, la demanderesse s'est rendue aux urgences de l'Hôpital de Fribourg en raison de céphalées et y a subi des examens. Le 6 août 2012, la demanderesse ne s'est pas présentée sur son lieu de travail. La défenderesse lui a alors fait parvenir une lettre de licenciement avec effet immédiat. Le 7 août 2012, un médecin a établi un certificat médical attestant d'une incapacité de travail de la demanderesse du 6 au 17 août 2012. B. B.a. Le 19 août 2013, la demanderesse a saisi le Tribunal des prud'hommes du district de la Sarine d'une demande à l'encontre de la défenderesse concluant notamment à ce que cette dernière soit astreinte à lui verser la somme de 68'117 fr. 05 avec intérêts à 5% dès le 7 août 2012 à titre de solde du salaire, d'indemnité pour licenciement abusif, d'indemnité pour 6 jours de vacances dont elle n'a pas pu bénéficier en 2011 et pour les heures supplémentaires effectuées ainsi que 20'000 fr. à titre de réparation morale. Par décision du 30 octobre 2018, le Tribunal des prud'hommes a partiellement admis la demande et astreint la défenderesse au paiement du montant brut de 17'285 fr. 50 avec intérêts à 5% l'an dès le 7 août 2012 et du montant net de 8'800 fr. avec intérêts à 5% l'an dès le 7 août 2012. B.b. Par mémoire du 6 décembre 2018, la défenderesse a interjeté appel contre cette décision. La demanderesse a assorti son mémoire de réponse du 21 février d'un appel joint. Par arrêt du 26 août 2019, le Tribunal cantonal du canton de Fribourg a rejeté tant l'appel que l'appel joint. C. La défenderesse forme un recours en matière civile aux fins d'obtenir l'annulation de l'arrêt du 26 août 2019. Elle conclut, principalement, à ce que l'appel soit admis, l'appel joint rejeté et l'arrêt du 26 août 2019 réformé en ce sens que la recourante est astreinte à verser uniquement la somme de 5'858 fr. 60 à l'intimée. Dans une conclusion subsidiaire, elle demande à ce que la cause soit renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants. L'intimée conclut au rejet du recours et dépose un " recours joint " tendant à la réforme de l'arrêt du 26 août 2019. L'autorité précédente a renoncé à se déterminer. Par ordonnance présidentielle du 15 novembre 2019, la demande d'effet suspensif de la recourante a été rejetée.