Faits: A. Vigousse Sàrl est une société à responsabilité limitée, inscrite au registre du commerce du canton de Vaud depuis le 18 novembre 2009 et dont le but est la rédaction, la publication et l'édition d'un journal satirique. Le 21 septembre 2012, Vigousse Sàrl a adressé au moyen du formulaire ad hoc "presse régionale et locale" à l'Office fédéral de la communication (ci-après: l'Office fédéral) une demande d'aide à la presse sous forme d'un rabais de la distribution postale du journal éponyme. Etait notamment joint à la requête un acte notarié daté du 30 juillet 2012 constatant que Vigousse avait paru 44 fois entre le 1er juillet 2011 et le 20 juin 2012, à raison d'un tirage total sur cette période de 561'293 exemplaires, soit une moyenne de 12'756 exemplaires par numéro, avec une distribution par poste de 294'808 exemplaires, soit une moyenne de 6'700 exemplaires par numéro. L'Office fédéral a rejeté la demande de la société par décision du 13 décembre 2012 au motif que Vigousse ne pouvait pas être considéré comme un journal "en abonnement" au sens des dispositions applicables car la proportion d'abonnements par rapport au tirage total était inférieure à 75%. B. Par arrêt du 27 septembre 2013, le Tribunal administratif fédéral a admis le recours de Vigousse Sàrl, ainsi que la demande d'aide à la presse de la société avec effet dès le 1er janvier 2013. Ledit tribunal a conclu des interprétations historique, téléologique et systématique des dispositions légales en cause que, pour bénéficier du rabais sur la distribution postale des quotidiens et hebdomadaires, aucun seuil d'abonnés par rapport au tirage total ne devait être atteint. Ainsi, Vigousse, qui était envoyé par la poste à ses abonnés, remplissait la seule condition légale encore litigieuse. C. Agissant par la voie du recours en matière de droit public, le Département fédéral de l'environnement, des transports, de l'énergie et de la communication demande au Tribunal fédéral d'annuler l'arrêt du 27 septembre 2013 du Tribunal administratif fédéral et de confirmer la décision du 13 décembre 2012, subsidiairement d'annuler l'arrêt attaqué et de renvoyer la cause à l'Office fédéral pour réexamen. Vigousse Sàrl conclut, sous suite de frais et dépens, au rejet du recours. Le Tribunal administratif fédéral a renoncé à prendre position sur le recours.