Faits : A. Depuis le 22 décembre 1986, A._, née en 1947, était membre de la direction de B._ SA, devenue en 2002 C._ SA, au Mont-sur-Lausanne. Cette société, mise en liquidation en raison de sa faillite le 26 mai 2016, a été radiée d'office du registre du commerce le 8 février 2019; son but était la fabrication et le commerce de vêtements et accessoires. A._ a également été membre de la direction de deux autres sociétés appartenant au même groupe : d'une part, D._SA, dont le but social était la fabrication et le commerce de vêtements et accessoires pour hommes, femmes et enfants, et qui a été mise en faillite le 27 octobre 2016 avant d'être radiée le 6 septembre 2017, et, d'autre part, D._ World SA, laquelle a été radiée en raison de sa fusion avec C._ SA le 6 juillet 2007 et qui avait notamment pour but social le commerce de produits en tout genre via internet. Du 22 décembre 1986 au 28 février 2004, A._ a dirigé, pour le groupe C._, les ressources humaines, ainsi que les affaires légales et administratives. Jusqu'en 1998, elle a également exercé des responsabilités dans le secteur des finances. Pour l'année 2003, sa rémunération, versée par C._ SA, s'est montée à 209'466 fr. brut, soit 171'853 fr. net. A la suite d'une restructuration interne, A._ a été licenciée du poste qu'elle occupait au sein de la direction du groupe C._, avec effet au 28 février 2004. C._ SA a alors gratifié A._ de deux indemnités nettes de 237'000 fr. et 68'000 fr. et l'a réaffectée à un autre poste au sein du groupe. A compter du 1er mars 2004, A._ a ainsi travaillé pour D._SA, principalement pour la future Fondation C._ qui avait pour fonction d' "organiser et soutenir des projets concrets liés au respect du développement durable et humanitaire, notamment dans les domaines de l'enfance, l'éducation, la formation, l'environnement et l'amélioration des conditions de vie en général". A._ a été réintégrée en 2006 dans C._ SA, sans signature au registre du commerce. Son contrat de travail, initialement résilié avec effet au 30 avril 2007, a finalement pris fin le 30 avril 2008. En 2004, A._ a ainsi perçu de C._ SA un salaire net de 66'048 fr. pour la période du 1er janvier au 28 février, tandis que D._SA lui a versé un salaire net de 73'750 fr. pour la période du 1er mars au 31 décembre 2004. Durant l'année 2005, A._ a perçu de D._SA un salaire brut de 105'600, soit un montant net de 88'385 fr., après déduction des charges sociales, y compris les cotisations de prévoyance professionnelle s'élevant à 9'672 fr. Durant l'année 2006, elle a perçu de C._ SA un salaire brut de 114'000 fr., soit 97'110 fr. net, charges sociales déduites, y compris 9'352 fr. de cotisations de prévoyance professionnelle. Elle a cessé toute activité à compter du 30 avril 2008. B. Pour la période fiscale 2004, les époux A._ ont déclaré un revenu imposable de 179'300 fr. et une fortune imposable de 736'000 fr. Ils ont indiqué, sous la rubrique " Informations complémentaires concernant l'année 2004", deux prestations en capital : l'une de 237'000 fr., désignée comme indemnité de sortie, l'autre, de 68'000 fr., remplaçant des versements périodiques de C._ SA. Ils demandaient en outre par le biais d'une note adressée à l'autorité de taxation que ces deux montants soient imposés spécifiquement en tant que versement en capital de l'employeur analogue à un versement provenant d'une institution de prévoyance, respectivement en tant que versement en capital remplaçant des prestations périodiques. Par décision du 27 février 2006, l'Office d'impôt du district de Lausanne a arrêté le revenu des époux A._ pour l'impôt cantonal et communal (ICC) à 488'800 fr., imposable au taux de 271'500 fr., et leur fortune à 593'000 fr., imposable au taux de 1'034'000 fr. En ce qui concerne l'impôt fédéral direct (IFD), il a arrêté le revenu des époux à 485'700 fr., imposable au même taux. Les époux A._ ont formé une réclamation à l'encontre de la décision de taxation précitée, laquelle a été partiellement admise s'agissant de l'impôt sur le revenu par l'Administration cantonale des impôts du canton de Vaud (ci-après : l'Administration cantonale). Celle-ci a confirmé, par décision du 22 novembre 2018, que le revenu déterminant des époux s'élevait, pour l'ICC 2004, à 488'800 fr., tout en considérant toutefois qu'il devait être imposé à un taux moins élevé qu'initialement prévu, soit à un taux de 180'500 fr. Selon elle, l'indemnité de 237'000 fr. devait en effet être divisée par deux pour la détermination du taux, comme un versement de capital remplaçant des prestations périodiques, compte tenu de la capacité économique réelle des époux (cf. art. 105 al. 2 LTF). Pour l'IFD, de manière similaire, il a été confirmé que le revenu des époux s'élevait à 485'700 fr., mais qu'il était imposable à un taux réduit également, à savoir au taux de 321'900 fr., ce qui conduisait à un montant d'impôt de 45'297 fr. 30. A._ a interjeté recours à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après : le Tribunal cantonal) contre la décision sur réclamation précitée. Par arrêt du 1er mai 2019, admettant partiellement le recours, le Tribunal cantonal a annulé la décision sur réclamation et renvoyé le dossier à l'Administration cantonale afin qu'elle impose la prestation en capital de 237'000 fr. perçue par la recourante au titre de versement en capital analogue à un versement provenant d'une institution de prévoyance. Il a pour le reste confirmé que la somme de 68'000 fr. également versée en 2004 constituait un revenu ordinaire et non un capital censé remplacer des prestations périodiques. C. L'Administration fédérale des contributions (ci-après: l'Administration fédérale) a déposé un recours en matière de droit public au Tribunal fédéral. Elle demande l'annulation, respectivement la réforme de l'arrêt du Tribunal cantonal du 1er mai 2019 en tant qu'il concerne l'IFD des époux A._ dû pour l'année 2004. Elle demande que l'indemnité de départ de 237'000 fr. obtenue par A._ (ci-après : l'intimée) soit imposée au taux plein, conjointement avec les autres revenus que celle-ci a réalisés avec son époux, conformément à la décision de taxation du 27 février 2006, requérant au Tribunal fédéral qu'il dise que le montant en question ne constitue pas un versement en capital analogue à ceux provenant d'une institution de prévoyance selon l'art. 17 al. 2 LIFD. L'Administration fédérale conclut en outre, à titre subsidiaire, à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision au sens de son recours. Le Tribunal cantonal a renoncé à se déterminer, se référant aux considérants de son arrêt, tandis que l'Administration cantonale s'est ralliée aux conclusions du recours. Dans sa détermination, l'intimée conclut à l'irrecevabilité des conclusions principales du recours et, pour le reste, au rejet de celui-ci. L'Administration fédérale a déposé d'ultimes observations.