A.- Ressortissante thaïlandaise, née le 21 janvier 1972, G._ est arrivée en Suisse le 31 mars 1995 au bénéfice d'un visa valable trois mois. Le 19 juin 1995, elle a signé une promesse de mariage avec A._, ressortissant suisse né le 20 octobre 1968. Elle a ainsi obtenu une autorisation de séjour valable jusqu'au 1er septembre 1995, date à laquelle elle s'est mariée. Elle s'est alors vu accorder une autorisation de séjour à l'année qui a été régulièrement prolongée, la dernière fois jusqu'au 30 novembre 1999.
Le 31 juillet 1996, A._ a entamé une procédure de divorce qui a été suspendue par la suite. En septembre 1996, G._ est retournée en Thaïlande. Elle y a accouché le 26 février 1997 d'un fils, M._, dont le père serait français. Elle a confié son fils à sa mère et est revenue seule en Suisse en avril/mai 1997. Elle est repartie pour la Thaïlande en septembre 1997 et y a donné naissance, le 14 janvier 1998, à un fils, S._, qui a la nationalité suisse. Elle est revenue en Suisse en mai 1998 avec ses deux fils mais, en août 1998, elle a renvoyé M._ en Thaïlande.
Le 27 juillet 1998, A._ a requis la reprise de la procédure de divorce précitée. Par jugement du 14 mai 1999, le Tribunal civil d'arrondissement de la Singine a prononcé le divorce des époux A._. L'autorité parentale sur S._ et sa garde ont été attribuées au père et la mère a été astreinte à verser une pension alimentaire mensuelle de 400 fr. pour S._. Il a été interdit à la mère, bénéficiant d'un droit de visite, - qui avait menacé d'emmener son second fils en Thaïlande - de se rendre à l'étranger avec S._. Le 24 juillet 2000, la Cour d'appel du Tribunal cantonal du canton de Fribourg a déclaré irrecevable le recours de G._ contre certains points du jugement susmentionné du 14 mai 1999.
La pension alimentaire que G._ doit verser à A._ pour son fils, en vertu du jugement précité du 14 mai 1999, a donné lieu à une saisie qui a abouti à la délivrance, le 9 juin 2000, d'un acte de défaut de biens pour 8'681, 55 fr. En octobre 2000, A._ a renoncé à recouvrer cette pension par l'intermédiaire du Bureau des pensions alimentaires du canton de Fribourg.
Le 20 octobre 2000, le Département de la police du canton de Fribourg (ci-après: le Département cantonal) a refusé de renouveler l'autorisation de séjour de G._ et imparti à l'intéressée un délai de trente jours dès la notification de cette décision pour quitter le territoire [fribourgeois].
Le Département cantonal a notamment retenu que G._ était peu intégrée en Suisse, mais qu'elle avait gardé des attaches très fortes avec sa patrie. L'intéressée ayant invoqué l'art. 8 CEDH en raison de son droit de visite sur son fils S._, le Département cantonal a procédé à une pesée des intérêts en présence et considéré que l'intérêt public était prépondérant en l'espèce.
B.- Par arrêt du 30 janvier 2001, la Ière Cour administrative du Tribunal administratif du canton de Fribourg (ci-après: le Tribunal administratif) a rejeté le recours de G._ contre la décision du Département cantonal du 20 octobre 2000. Le Tribunal administratif a relevé en particulier que la renonciation de A._ "à exiger le paiement de la pension alimentaire" pour S._ ne libérait pas l'intéressée de l'obligation que lui imposait le jugement susmentionné du 14 mai 1999. G._ n'assumait pas toutes ses responsabilités envers S._, puisqu'elle ne contribuait pas à son entretien. De plus, il résultait du comportement de l'intéressée qu'elle n'avait pas la volonté de trouver du travail et préférait rester dépendante financièrement de l'ami dont elle partageait la vie. Elle négligeait ses devoirs essentiels envers son fils S._, de sorte que sa relation avec lui ne justifiait pas une protection de l'art. 8 CEDH. Au demeurant, même si l'art. 8 CEDH était applicable en l'espèce, l'intérêt public au renvoi de l'intéressée l'emporterait sur l'intérêt privé, car la relation familiale entre G._ et son fils S._ se réduisait au simple exercice du droit de visite.
C.- G._ a recouru au Tribunal fédéral contre l'arrêt du Tribunal administratif du 30 janvier 2001. Elle conclut implicitement à la prolongation de son autorisation de séjour. Elle conteste notamment l'argumentation de l'autorité intimée selon laquelle elle ne serait pas intégrée, n'aurait pas la volonté de trouver un emploi et manquerait d'intérêt pour son fils S._. Elle explique ce que ce dernier représente pour elle et les liens respectifs qu'elle a avec ses deux fils.
Le Tribunal administratif conclut au rejet du recours en se référant à l'arrêt attaqué. La Direction de la justice, de la police et des affaires militaires du canton de Fribourg a renoncé à formuler des observations, tout en se reportant à la décision précitée du Département cantonal du 20 octobre 2000 et à l'arrêt entrepris.
L'Office fédéral des étrangers propose de rejeter le recours dans la mesure où il est recevable.

Considérant en droit :
1.- a) Le Tribunal fédéral examine d'office et librement si le recours dont il est saisi doit être traité comme un recours de droit administratif ou comme un recours de droit public (<ref-ruling> consid. 1 p. 329). Il est dès lors sans importance que la recourante n'ait pas précisé dans son mémoire la voie de droit qu'elle entendait utiliser. Le recours de droit public ayant un caractère subsidiaire (art. 84 al. 2 OJ), il convient d'examiner d'abord si le présent recours est recevable en tant que recours de droit administratif.
b) Selon l'art. 100 al. 1 lettre b ch. 3 OJ, le recours de droit administratif n'est pas recevable en matière de police des étrangers contre l'octroi ou le refus d'autorisations auxquelles le droit fédéral ne confère pas un droit.
D'après l'art. 4 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 142. 20), les autorités compétentes statuent librement, dans le cadre des prescriptions légales et des traités avec l'étranger, sur l'octroi ou le refus d'autorisations de séjour ou d'établissement.
En principe, l'étranger n'a pas de droit à l'octroi d'une autorisation de séjour. Ainsi, le recours de droit administratif est irrecevable, à moins que ne puisse être invoquée une disposition particulière du droit fédéral ou d'un traité, accordant le droit à la délivrance d'une telle autorisation (<ref-ruling> consid. 1a p. 83).
aa) D'après l'art. 7 al. 1 LSEE, le conjoint étranger d'un ressortissant suisse a droit à l'octroi et à la prolongation de l'autorisation de séjour. Selon la jurisprudence, pour juger de la recevabilité du recours de droit administratif, seule est déterminante la question de savoir si un mariage au sens formel existe (<ref-ruling> consid. 2b p. 291).
La recourante a obtenu une autorisation de séjour en raison de son mariage avec un Suisse. Cependant, ce mariage a été dissous par le divorce. Dès lors, le présent recours est irrecevable au regard de l'art. 7 al. 1 LSEE.
bb) Un étranger peut, selon les circonstances, se prévaloir du droit au respect de sa vie privée et familiale garanti par l'art. 8 par. 1 CEDH pour s'opposer à l'éventuelle séparation de sa famille et obtenir ainsi une autorisation de séjour. Encore faut-il, pour pouvoir invoquer cette disposition, que la relation entre l'étranger et une personne de sa famille ayant le droit de s'établir en Suisse (en principe nationalité suisse ou autorisation d'établissement) soit étroite et effective (<ref-ruling> consid. 1e p. 5).
La recourante a un fils de nationalité suisse, qui vit avec son père en Suisse. Elle n'a pas l'autorité parentale sur cet enfant ni sa garde. Elle ne participe pas à son entretien contrairement à ce qui a été ordonné dans le jugement de divorce, mais elle exerce actuellement son droit de visite sur lui. On peut douter qu'elle entretienne avec ce fils une relation étroite et effective protégée par l'art. 8 CEDH et que le présent recours soit par conséquent recevable. Toutefois, cette question peut rester indécise car le recours doit de toute façon être rejeté.
c) Au surplus, déposé en temps utile et dans les formes prescrites par la loi, le présent recours est en principe recevable comme recours de droit administratif en vertu des art. 97 ss OJ.
2.- D'après l'art. 104 OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation (lettre a) ainsi que pour constatation inexacte ou incomplète des faits pertinents, sous réserve de l'art. 105 al. 2 OJ, (lettre b). Le Tribunal fédéral vérifie d'office l'application du droit fédéral, qui englobe notamment les droits constitutionnels des citoyens (<ref-ruling> consid. 1 p. 519; <ref-ruling> consid. 3 p. 388), sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). En revanche, lorsque le recours est dirigé, comme en l'espèce, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans cette décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 105 al. 2 OJ). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de l'arrêt entrepris, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 104 lettre c ch. 3 OJ).
3.- a) Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant que cette ingérence soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale, ou à la protection des droits et libertés d'autrui. La question de savoir si, dans un cas d'espèce, les autorités de police des étrangers sont tenues d'accorder une autorisation de séjour fondée sur l'art. 8 CEDH doit être résolue sur la base d'une pesée de tous les intérêts publics et privés en présence (<ref-ruling> consid. 2 p. 5/6; <ref-ruling> consid. 4a p. 25). Il faut qu'il existe des liens familiaux vraiment forts dans les domaines affectif et économique pour que l'intérêt public à une politique restrictive en matière de séjour des étrangers et d'immigration passe au second plan (<ref-ruling> consid. 3c p. 5).
En ce qui concerne l'intérêt privé à l'octroi d'une autorisation de séjour, il faut constater qu'un droit de visite peut en principe être exercé même si le parent intéressé vit à l'étranger, au besoin en aménageant les modalités de ce droit pour ce qui touche à sa fréquence et à sa durée. Ala différence de ce qui se passe en cas de vie commune, il n'est pas indispensable que le parent au bénéfice d'un droit de visite et l'enfant vivent dans le même pays. Il faut prendre en considération l'intensité de la relation entre le parent et l'enfant, ainsi que la distance qui séparerait l'étranger de la Suisse au cas où l'autorisation de séjour lui serait refusée (ATF <ref-ruling> consid. 4a p. 25).
b) Lorsque le Tribunal civil d'arrondissement de la Singine a prononcé le divorce des époux A._, le 14 mai 1999, S._ était un enfant de seize mois seulement.
Pourtant, contrairement à ce qui est usuel pour un enfant de cet âge, il n'a été placé ni sous la garde ni sous l'autorité parentale de sa mère. Cela s'explique toutefois dans la mesure où la relation entre la recourante et son second fils n'atteignait pas l'intensité habituelle d'un tel lien. Depuis lors, la situation a évolué; l'intéressée exerce son droit de visite, mais elle ne remplit pas ses obligations économiques à l'égard de S._. En réalité, elle n'a jamais versé la pension alimentaire qu'elle devait payer pour lui. En revanche, l'intéressée, qui est entretenue par son nouvel ami, arrive à envoyer 700 fr. par mois en Thaïlande pour son fils M._ et pour d'autres membres de sa famille. De plus, elle dépense chaque mois des centaines de francs (plus de 500 fr., d'après le jugement précité du 14 mai 1999) en communications téléphoniques avec sa patrie, notamment avec M._ qu'elle appellerait tous les quatre jours environ.
On ne comprend dès lors pas pourquoi la recourante n'arrive pas à contribuer financièrement à l'entretien de S._.
Au demeurant, si l'intéressée ne peut ou ne veut pas utiliser l'argent que lui donne son ami pour S._, il lui incombe de gagner l'argent nécessaire à l'entretien de son second fils. Il est vrai que l'absence d'autorisation de séjour peut compliquer la recherche d'un emploi. Cependant, la recourante n'a pas apporté la preuve qu'elle avait effectué des démarches sérieuses pour obtenir un emploi. Force est donc de constater qu'elle n'a pas fourni les efforts nécessaires pour avoir une relation économique étroite avec son fils S._.
Un départ de l'intéressée pour son pays d'origine compliquerait certes l'exercice de son droit de visite sur S._ qui pourrait toutefois s'effectuer dans le cadre de séjours à but touristique. D'ailleurs, la Thaïlande étant une destination touristique, les voyages entre ce pays et la Suisse pourraient vraisemblablement s'effectuer à des prix relativement modérés. En outre, il ressort du dossier que, bien qu'en Suisse, la recourante a su maintenir sa relation avec son fils M._ qui vit en Thaïlande; dès lors, on ne voit pas pourquoi elle ne pourrait pas, de Thaïlande, garder des contacts avec S._ vivant en Suisse, même si c'est au foyer de son ex-mari et non dans sa propre famille.
Ainsi, il apparaît que l'intérêt public à pratiquer une politique restrictive en matière de séjour des étrangers et d'immigration - en particulier pour assurer un rapport équilibré entre l'effectif de la population suisse et celui de la population étrangère résidante ainsi que pour améliorer la situation du marché du travail et assurer un équilibre optimum en matière d'emploi (cf. <ref-ruling> consid. 5 p. 4/5) -, c'est-à-dire en l'espèce à ne pas prolonger l'autorisation de séjour de l'intéressée qui, résidant en Suisse depuis le printemps 1995, n'a jamais gardé d'emploi durable et n'arrive que difficilement à s'exprimer dans une langue nationale, l'emporte sur l'intérêt de la recourante à pouvoir rester en Suisse où vit son second fils sur lequel elle a un droit de visite.
4.- Vu ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, la recourante doit supporter les frais judiciaires (art. 156 al. 1, 153 et 153a OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours dans la mesure où il est recevable.
2. Met à la charge de la recourante un émolument judiciaire de 1'000 fr.
3. Communique le présent arrêt en copie à la recourante, au Département de la police et à la Ière Cour administrative du Tribunal administratif du canton de Fribourg, ainsi qu'à l'Office fédéral des étrangers.
_
Lausanne, le 28 juin 2001 DAC/vlc
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
La Greffière,