A.- Ressortissant yougoslave né le 1er octobre 1972, A._ est arrivé en Suisse le 15 février 1987 et y bénéficie d'une autorisation d'établissement. Le 13 août 1998, il a épousé une compatriote, dame A._, née le 24 avril 1977. Cette dernière, qui était enceinte, a déposé le 31 août 1998 une demande d'autorisation d'entrée en Suisse.
Le 12 janvier 1999, les autorités vaudoises compétentes ont autorisé les représentations suisses à délivrer un visa à l'intéressée qui est arrivée en Suisse le 20 avril 1999 avec son fils B._, né le 15 février 1999. Le 28 avril 1999, dame A._ a demandé une autorisation de séjour à l'année au titre du regroupement familial pour elle-même et pour son fils B._. Le 14 mars 2000, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a refusé les autorisations de séjour sollicitées et imparti aux intéressés un délai d'un mois dès la notification de cette décision pour quitter le territoire vaudois. Il s'est fondé sur des motifs d'assistance publique, en se référant notamment à l'art. 10 al. 1 lettre d de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20).
B.- Agissant pour elle-même et pour son fils B._, dame A._ a recouru contre la décision du Service cantonal du 14 mars 2000 auprès du Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) qui, par arrêt du 23 novembre 2000, a rejeté le recours, confirmé la décision attaquée et imparti aux intéressés un délai échéant le 10 janvier 2001 pour quitter le territoire vaudois. En substance, le Tribunal administratif a repris et développé l'argumentation du Service cantonal; il a également considéré que la décision entreprise était compatible avec l'art. 8 CEDH.
C.- Agissant pour elle-même et pour son fils B._, dame A._ a formé un recours de droit public au Tribunal fédéral contre l'arrêt du Tribunal administratif du 23 novembre 2000. Elle demande, sous suite de frais et dépens, que l'arrêt attaqué soit annulé, respectivement réformé en ce sens que des autorisations de séjour soient accordées à elle-même et à son fils B._. Elle se plaint essentiellement d'arbitraire au sens de l'art. 4 aCst. ; elle reproche à l'autorité intimée de n'avoir pas assez tenu compte des efforts fournis par elle et par son mari pour améliorer leur indépendance financière ainsi que de l'évolution de la conjoncture; elle trouve également que le Tribunal administratif n'a pas pris en considération la situation de son mari ni celle de son fils dans la pesée des intérêts en présence exigée par l'art. 8 CEDH.
Le Tribunal administratif a renoncé à répondre au recours tout en se référant à l'arrêt entrepris. Le Service cantonal s'en remet aux déterminations de l'autorité intimée.
L'Office fédéral des étrangers propose le rejet du recours.
D.- Par ordonnance du 31 janvier 2001, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif présentée par dame A._.

Considérant en droit :
1.- Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 275; <ref-ruling> consid. 1a p. 414).
Vu le caractère subsidiaire du recours de droit public (art. 84 al. 2 OJ), il convient d'examiner d'abord si la voie du recours de droit administratif est ouverte. Si tel est le cas, le recours de droit public est exclu.
a) Selon l'art. 100 al. 1 lettre b ch. 3 OJ, le recours de droit administratif n'est pas recevable en matière de police des étrangers contre l'octroi ou le refus d'autorisations auxquelles le droit fédéral ne confère pas un droit.
D'après l'art. 4 LSEE, les autorités compétentes statuent librement, dans le cadre des prescriptions légales et des traités avec l'étranger, sur l'octroi ou le refus d'autorisations de séjour ou d'établissement. En principe, l'étranger n'a pas de droit à l'octroi d'une autorisation de séjour.
Ainsi, le recours de droit administratif est irrecevable, à moins que ne puisse être invoquée une disposition particulière du droit fédéral ou d'un traité, accordant le droit à la délivrance d'une telle autorisation (<ref-ruling> consid. 1a p. 83).
aa) L'art. 17 al. 2 1ère phrase LSEE dispose que le conjoint d'un étranger possédant l'autorisation d'établissement a droit à l'autorisation de séjour aussi longtemps que les époux vivent ensemble. Selon l'art. 17 al. 2 3ème phrase LSEE, si un étranger possède l'autorisation d'établissement, ses enfants célibataires âgés de moins de dix-huit ans ont le droit d'être inclus dans l'autorisation d'établissement aussi longtemps qu'ils vivent auprès de leurs parents.
La recourante est mariée à un ressortissant yougoslave bénéficiant d'une autorisation d'établissement en Suisse.
Les époux A._ font ménage commun. Leur fils B._, né en 1999, vit avec eux. Le recours est donc recevable comme recours de droit administratif au regard de l'art. 17 al. 2 LSEE, la question de savoir si les conditions pour la délivrance d'autorisations de séjour sont, ou non, remplies étant une question de fond et non de recevabilité (cf. <ref-ruling> consid. 2a p. 84; <ref-ruling> consid. 2a p. 158).
bb) Un étranger peut, selon les circonstances, se prévaloir du droit au respect de sa vie privée et familiale garanti par l'art. 8 par. 1 CEDH pour s'opposer à l'éventuelle séparation de sa famille et obtenir ainsi une autorisation de séjour. Encore faut-il, pour pouvoir invoquer cette disposition, que la relation entre l'étranger et une personne de sa famille ayant le droit de s'établir en Suisse (en principe nationalité suisse ou autorisation d'établissement) soit étroite et effective (<ref-ruling> consid. 1e p. 5).
Ces conditions sont remplies en l'espèce (cf. ci-dessus, lettre a/aa), de sorte que le recours est aussi recevable sous cet angle en tant que recours de droit administratif.
b) Le présent recours, qui respecte au surplus les conditions formelles prescrites par la loi, est recevable en tant que recours de droit administratif, de sorte que la voie du recours de droit public n'est pas ouverte.
2.- D'après l'art. 104 OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation (lettre a) ainsi que pour constatation inexacte ou incomplète des faits pertinents, sous réserve de l'art. 105 al. 2 OJ, (lettre b).
Le Tribunal fédéral vérifie d'office l'application du droit fédéral, qui englobe notamment les droits constitutionnels des citoyens (<ref-ruling> consid. 1 p. 519; <ref-ruling> consid. 3 p. 388), sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). En revanche, lorsque le recours est dirigé, comme en l'espèce, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans cette décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 105 al. 2 OJ). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de l'arrêt entrepris, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 104 lettre c ch. 3 OJ).
Les recourants se plaignent que le Tribunal administratif ait violé le principe de l'interdiction de l'arbitraire garanti par l'art. 4 aCst. (cf. l'art. 9 Cst.), c'est-à-dire qu'il ait excédé ou abusé de son pouvoir d'appréciation.
3.- a) Le droit à une autorisation de séjour dans le cadre d'un regroupement familial qui est reconnu par l'art. 17 al. 2 LSEE n'est pas absolu. Il s'éteint si l'ayant droit a enfreint l'ordre public et, évidemment, s'il existe un motif d'expulsion (art. 10 al. 1 LSEE). Cependant, pour que le regroupement familial puisse être refusé en raison du motif d'expulsion figurant à l'art. 10 al. 1 lettre d LSEE, il faut qu'il existe un danger concret que les membres de la famille tombent d'une manière continue et dans une large mesure à la charge de l'assistance publique. Le simple risque n'est pas suffisant (cf. <ref-ruling> consid. 3c p. 8; <ref-ruling> consid. 2d p. 87). La notion d'assistance publique doit être interprétée dans un sens technique (arrêt non publié du 2 novembre 1999 en la cause Munoz Carrasco, consid. 4b). C'est dire qu'elle comprend l'aide sociale traditionnelle et les revenus minima d'aide sociale à l'exclusion des prestations d'assurances sociales, comme les indemnités de chômage. Pour apprécier si une personne se trouve dans une large mesure à la charge de l'assistance publique, il faut tenir compte du montant total des prestations déjà versées à ce titre. Pour évaluer si elle tombe d'une manière continue à la charge de l'assistance publique, il faut examiner sa situation financière à long terme et non pas seulement au moment de la demande de regroupement familial. Il convient en particulier d'estimer, en se fondant sur la situation financière actuelle de l'intéressé et sur son évolution probable, s'il existe des risques que, par la suite, il se trouve à la charge de l'assistance publique (<ref-ruling> consid. 3c p. 8; <ref-ruling> consid. 3c p. 6/7). Comme le regroupement familial vise à réunir une même famille, il faut prendre en compte la disponibilité de chacun de ses membres à participer financièrement à cette communauté et à réaliser un revenu.
Celui-ci doit être concret et vraisemblable et, autant que possible, ne pas apparaître purement temporaire (<ref-ruling> consid. 3c p. 8/9).
b) D'après une attestation émise le 29 avril 1999 par le Service social et du travail de la Ville de Lausanne (ciaprès:
le Service communal), A._ a bénéficié de l'aide sociale vaudoise à partir du mois de novembre 1998.
Selon une attestation du Service communal du 26 juillet 1999, la dette de la famille A._ s'élevait à cette date à 36'030, 55 fr. En outre, depuis le 1er décembre 1999, A._ reçoit un revenu minimum de réinsertion mensuel de 3'098, 10 fr. pour couvrir les besoins de sa famille. Par ailleurs, il aurait eu un emploi auprès de C._ durant onze semaines au maximum à partir du 7 février 2000 et l'on peut considérer qu'il n'a plus ou plus autant recouru à l'assistance publique pendant cette période, bien que cela ne ressorte pas du dossier. Quant à la recourante, elle aurait travaillé en qualité de femme de chambre pour D._ du 1er juillet au 27 août 2000. De plus, elle aurait été engagée par E._ comme employée d'entretien à partir du 4 septembre 2000 et travaillerait dix heures par semaine pour une rémunération horaire de 14,03 fr. Enfin, dans le délai imparti, les intéressés n'ont pas produit devant l'autorité intimée des pièces établissant que A._ percevait un salaire ou faisait l'objet d'une demande de main-d'oeuvre étrangère ni d'attestation prouvant que le couple A._ ne bénéficiait plus d'un revenu minimum de réinsertion. Dès lors, le Tribunal administratif était en droit de considérer que les conditions de l'art. 10 al. 1 lettre d LSEE étaient remplies en l'espèce. Il a cependant relevé qu'il était difficile pour la recourante et son mari, qui n'avaient apparemment pas de formation professionnelle, de trouver un emploi stable, en dépit de la légère amélioration de la situation économique et du marché de l'emploi. Enfin, contrairement à ce que croient les recourants, il ne pouvait pas prendre en compte les efforts des époux A._ pour améliorer leur situation financière, alors qu'il n'y a pas trace de ces efforts au dossier. En effet, les recourants n'ont pas produit devant l'autorité intimée des pièces permettant d'établir "qu'ils émargent de moins en moins à l'assistance publique", si ce n'est les documents relatifs aux engagements de la recourante qui sont mentionnés dans l'arrêt entrepris.
4.- a) Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant que cette ingérence soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale, ou à la protection des droits et libertés d'autrui.
Le refus d'octroyer une autorisation de séjour au conjoint étranger d'une personne bénéficiant d'une autorisation d'établissement, respectivement à son enfant, sur la base de l'art. 10 al. 1 lettre d LSEE suppose une pesée des intérêts en présence en vertu de l'art. 8 par. 2 CEDH, comme d'ailleurs de l'art. 17 al. 2 LSEE (cf. <ref-ruling> consid. 4a et 4b p. 131).
b) aa) Les recourants reprochent au Tribunal administratif de n'avoir pas tenu compte, dans cette pesée des intérêts en présence, de ce que A._ avait passé l'essentiel de sa vie en Suisse et n'avait plus d'attache concrète et réelle dans son pays d'origine. Au moment où l'arrêt attaqué est tombé, A._ avait vécu un peu moins de temps en Suisse que dans sa patrie. De plus, c'est dans son pays d'origine qu'il a passé toute son enfance et le début de son adolescence. Or, ces années sont capitales car c'est à ce moment que l'être humain est le plus perméable à la culture qui l'entoure. En outre, le fait qu'il se soit marié avec une compatriote en République fédérale de Yougoslavie prouve qu'il a gardé des contacts avec son pays d'origine.
Dès lors, il lui serait possible - même si c'est difficile - de suivre sa femme et son fils dans sa patrie.
bb) Les intéressés se plaignent aussi que le Tribunal administratif n'ait pas pris en considération l'importance pour l'enfant B._ "de pouvoir jouir d'une cellule familiale stable et regroupée", lui permettant de voir quotidiennement non seulement sa mère, mais encore son père. Sans nier l'importance pour tout enfant de pouvoir vivre avec ses deux parents, le Tribunal fédéral constate qu'au moment où l'autorité intimée a statué, l'enfant B._ n'avait pas encore deux ans et que, durant la prime enfance, le contact avec la mère est prépondérant. Au demeurant, comme on l'a vu, la séparation pourrait être évitée si le père suivait sa famille.
cc) Compte tenu de ce qui vient d'être dit et de la situation financière de la famille A._ (cf. ci-dessus, consid. 3b), le Tribunal administratif n'a pas abusé de son pouvoir d'appréciation en estimant que l'intérêt public à limiter les dépenses d'assistance publique l'emportait sur l'intérêt des recourants à pouvoir vivre en famille enSuisse.
5.- Vu ce qui précède, le recours doit être rejeté.
Succombant, les recourants doivent supporter les frais judiciaires (art. 156 al. 1, 153 et 153a OJ) et n'ont pas droit à des dépens (art. 159 al. 1 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours.
2. Met à la charge des recourants un émolument judiciaire de 1'000 fr.
3. Communique le présent arrêt en copie aux recourants, au Service de la population et au Tribunal administratif du canton de Vaud, ainsi qu'à l'Office fédéral des étrangers.
_
Lausanne, le 5 juin 2001 DAC/moh
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
La Greffière,