A.- Les 21 et 28 juillet 2000, la Commission fédérale des maisons de jeu a autorisé la société X._ SA à procéder au remplacement d'un certain nombre de machines à sous servant aux jeux de hasard, dans différents établissements publics du canton de Fribourg. En revanche, elle a interdit à la société de mettre en exploitation de nouveaux appareils au café A._, à Ursy, au café-bar B._, à Morat et au café-bar C._, à Bulle, pour le motif que ces établissements n'avaient plus été exploités depuis 1998 ou 1999.
B.- Après avoir déposé une demande de reconsidération qui a été rejetée le 13 août 2000, X._ a recouru auprès de la Commission fédérale de recours en matière de maisons de jeu qui, par décision du 2 février 2001, a rejeté le recours. Elle a retenu en bref que si la Commission fédérale des maisons de jeu n'était pas compétente pour autoriser formellement le remplacement de machines à sous, elle pouvait attester, par le biais de décisions constatatoires, que le remplacement de certains appareils était conforme ou non au droit fédéral. En outre, la Commission de recours a confirmé que le refus de remplacer des appareils à sous dans des établissements qui n'avaient pas bénéficié d'autorisations d'exploitation en 1998 et 1999 était conforme à la réglementation de l'art. 60 al. 2 de la loi fédérale sur les jeux de hasard et les maisons de jeu du 18 décembre 1998 (loi sur les maisons de jeu; LMJ; RS 935. 52).
C.- Agissant par la voie du recours de droit administratif, la société X._ conclut, avec suite de frais et dépens, à l'annulation de la décision de la Commission de recours du 2 février 2001 et à la nullité des décisions de la Commission fédérale des maisons de jeu des 21 et 28 juillet 2000, subsidiairement à leur annulation et à la constatation que l'autorité cantonale peut délivrer les autorisations requises.
La Commission fédérale de recours en matière de maisons de jeu et la Direction de la justice, de la police et des affaires militaires du canton de Fribourg ont renoncé à se déterminer.
Au terme de ses observations, la Commission fédérale des maisons de jeu propose de rejeter le recours.

Considérant en droit :
1.- a) Rendue en application du droit public fédéral, la décision attaquée peut faire l'objet d'un recours de droit administratif (art. 97 et 98 lettre e OJ). Le présent recours, qui satisfait aux autres exigences formelles des art. 97 ss OJ, est donc recevable.
b) Conformément à l'art. 104 lettre a OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation.
Le Tribunal fédéral revoit d'office l'application du droit fédéral qui englobe notamment les droits constitutionnels du citoyen (<ref-ruling> consid. 2 p. 211; <ref-ruling> consid. 1b p. 11). Comme il n'est pas lié par les motifs que les parties invoquent, il peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer l'arrêt attaqué pour d'autres motifs que ceux retenus par l'autorité intimée (art. 114 al. 1 in fine OJ; <ref-ruling> consid. 1b p. 477 et les arrêts cités; voir également <ref-ruling> consid. 2b p. 109).
En revanche, lorsque le recours est dirigé, comme en l'espèce, contre une décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris des règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; <ref-ruling> consid. 1c p. 635).
2.- La recourante reproche tout d'abord à l'autorité de recours de ne pas avoir suivi son argumentation au sujet de l'absence de compétence de la Commission fédérale des maisons de jeu pour autoriser ou refuser l'échange d'appareils à sous.
a) Selon l'art. 48 al. 1 LMJ, la commission assume la surveillance des maisons de jeu, veille à ce que les dispositions légales soient respectées et prend les décisions nécessaires à l'application de la loi. Son mandat fondamental a volontairement été décrit de manière très large (voir Message du Conseil fédéral du 26 février 1997 relatif à la loi fédérale sur les jeux de hasard et les maisons de jeu; FF 1997 III p. 183).
Au chapitre des dispositions transitoires, l'art. 60 LMJ fixe le délai d'exploitation des appareils à sous destinés à des jeux d'adresse déjà exploités de la manière suivante:
"1Les appareils à sous servant à des jeux d'adresse
homologués d'après la pratique en vigueur qui sont
considérés comme des appareils servant à des jeux de
hasard au sens de la nouvelle législation ne pourront
désormais plus être exploités que dans les
grands casinos et les casinos.
2En dehors des établissements précités, les cantons
pourront autoriser, dans un délai de cinq ans à compter
de l'entrée en vigueur de la présente loi, la
continuation de l'exploitation d'un maximum de cinq
des appareils mentionnés à l'al. 1 dans les restaurants
et autres locaux pour autant que ces appareils
aient été mis en exploitation avant le 1er novembre
1997.
3Après l'expiration de ce délai, seuls les appareils
à sous servant aux jeux d'adresse au sens de la présente
loi pourront encore être exploités dans les
restaurants et autres locaux.. "
Enfin, l'art. 135 de l'ordonnance du Conseil fédéral du 23 février 2000 sur les jeux de hasard et les maisons de jeu (ordonnance sur les maisons de jeu, OLMJ; RS 935. 521) prévoit que:
"1L'exploitation des appareils à sous servant aux jeux
d'adresse, homologués avant le 22 avril 1998, mais
réputés appareils à sous servant aux jeux de hasard
en vertu de la nouvelle législation, dont les cantons
autorisent l'exploitation ultérieure en vertu
de à l'art. 60 LMJ, ne peut être poursuivie qu'au
même endroit que précédemment.
2La réparation d'appareils à sous servant aux jeux de
hasard en exploitation, de même que leur échange ou
leur remplacement par des appareils de facture identique
sont autorisés pour autant que ces mesures
contribuent à rétablir la situation initiale.. "
La date du 22 avril 1998 correspond à l'entrée en vigueur de l'ordonnance du Conseil fédéral concernant les appareils automatiques servant aux jeux d'argent (ordonnance sur les automates de jeu d'argent, OAJA; RS 935. 522). Cette ordonnance a conféré aux autorités fédérales la compétence de rendre les décisions d'homologation des appareils automatiques servant aux jeux d'argent et de délimiter les appareils de jeux de hasard des appareils de jeux d'adresse. Cette règle d'attribution permet une application uniforme du droit fédéral sur l'ensemble du territoire de la Confédération et a été confirmée par le Tribunal fédéral (<ref-ruling> con-sid. 4 p. 160; voir aussi arrêt non publié du 24 novembre 1999 en la cause X._).
b) L'art. 60 al. 2 LMJ prévoit expressément qu'il incombe aux cantons d'autoriser, à certaines conditions et pour un temps limité, la poursuite de l'exploitation d'appareils à sous servant à des jeux de hasard. Il est cependant muet sur les moyens à disposition de l'autorité fédérale pour exercer son rôle de surveillance et pour assurer une application uniforme du droit fédéral. Contrairement à ce que prévoient les art. 58 ss OLMJ pour la délimitation entre les appareils à sous servant aux jeux d'adresse et aux jeux de hasard, ni la loi, ni l'ordonnance n'aménagent une procédure fédérale formelle d'autorisation ou de contrôle dans l'application de l'art. 60 al. 2 LMJ. Cette lacune trouve sans doute son origine dans le fait que la disposition transitoire de l'art. 60 al. 2 LMJ a été introduite dans la loi tardivement, soit à l'occasion des délibérations des Chambres fédérales (BO CE, 1997, p. 1326 ss).
Dans sa circulaire du 29 mai 2000, adressée aux autorités cantonales compétentes, la Commission fédérale des maisons de jeu a certes posé comme directive que chaque changement d'appareils à sous servant aux jeux de hasard devait lui être soumis préalablement par l'exploitant et que le canton ne devait délivrer aucune autorisation d'exploitation sans son assentiment écrit et préalable. La Commission de recours a toutefois relevé à juste titre qu'une telle directive ne constitue pas une base légale suffisante pour conférer une compétence décisionnelle à l'autorité fédérale.
c) Si la loi place les décisions formelles d'autorisation dans la compétence des cantons, la Commission fédérale des maisons de jeu est habilitée, en sa qualité d'autorité de surveillance, à rendre des décisions constatatoires. Chargée par le législateur de veiller à une application uniforme du droit fédéral, il lui incombe en effet de se prononcer sur la conformité à ce droit de remplacer certains appareils par d'autres. Elle seule possède les connaissances techniques nécessaires et la vue d'ensemble pour prendre de telles décisions.
Elle peut alors être saisie soit par l'autorité cantonale elle-même, soit par le fabricant ou l'exploitant d'appareils à sous pouvant se prévaloir d'un intérêt digne de protection au sens de l'<ref-law>. Ce droit de l'administré lui assure ensuite la protection de la voie de recours prévue par l'art. 54 LMJ.
De son côté, la recourante refuse de reconnaître à la commission la compétence de rendre des décisions constatatoires, dès lors que l'autorité fédérale est chargée uniquement de surveiller les autorités cantonales dans l'application du droit fédéral. La recourante ne saurait cependant être suivie sur ce point, car les tâches attribuées par la loi à la Commission fédérale des maisons de jeu vont au-delà d'une simple surveillance des cantons. Cette autorité est, d'une manière générale, chargée de veiller au respect de la loi. L'art. 48 al. 1 LMJ lui permet en effet de rendre des décisions directement opposables aux administrés; par ailleurs, l'intérêt public au respect du nouveau régime instauré par la loi fédérale est d'autant plus grand que les réglementations cantonales étaient très disparates avant l'entrée en vigueur de cette loi fédérale (voir Message du Conseil fédéral, FF 1997 III p. 160). L'objectif du législateur était donc d'instaurer des règles claires et uniformes dans l'ensemble du pays, ce qui implique que l'autorité fédérale soit habilitée à constater, à la demande des administrés ou des cantons, la conformité au droit fédéral des demandes d'autorisation de remplacement d'appareils à sous servant aux jeux de hasard. Dans ce contexte, les cantons ont la possibilité ("Kann-Vorschrift"), mais non l'obligation, de délivrer des autorisations formelles, pour autant qu'elles respectent les décisions préalables de l'autorité fédérale. Ils ne peuvent pas se montrer plus larges que la Commission, mais peuvent adopter une pratique plus restrictive; tel est le cas des cantons qui refusaient, déjà avant l'entrée en vigueur de la loi fédérale, l'exploitation d'appareils à sous servant aux jeux de hasard en dehors des casinos.
La conclusion principale de la recourante tendant à l'annulation de la décision entreprise, vu la nullité des décisions de la Commission fédérale des maisons de jeu, doit donc être rejetée.
3.- La recourante fait valoir, à titre subsidiaire, que la décision attaquée viole l'art. 60 al. 2 LMJ dans la mesure où elle subordonne l'échange de machines à sous à une exploitation continue des appareils à remplacer depuis le 1er novembre 1997. Elle soutient, en se référant notamment aux travaux parlementaires, que le législateur a voulu permettre aux propriétaires d'appareils à sous de les amortir pendant un délai de cinq ans en reprenant la réglementation transitoire introduite par l'ordonnance sur les automates de jeu d'argent, dont le but était d'empêcher l'augmentation du nombre des appareils de jeux de hasard à disposition du public, mais pas de parvenir à une diminution du nombre de ces appareils.
L'interprétation de la recourante ne correspond toutefois pas au texte clair de l'art. 60 LMJ. Cette disposition, qui ne figurait pas dans le projet de loi du Conseil fédéral, a été élaborée par la Commission du Conseil des Etats et adoptée par la Chambre des cantons dans sa séance du 18 décembre 1997 (BO CE, 1997, p. 1328; art. 60bis nouveau).
Elle n'a donc pas été directement inspirée par l'ordonnance sur les automates de jeu d'argent, entrée en vigueur ultérieurement, soit le 22 avril 1998. Sa teneur n'a pas été modifiée par le Conseil national, qui s'est rallié à la proposition du Conseil des Etats (BO CN, 1998, p. 1947). L'impossibilité d'exploiter des appareils servant aux jeux de hasard en dehors des grands casinos et des casinos, exprimée à l'alinéa 1 de l'art. 60 LMJ, est tempérée par la faculté laissée aux cantons d'autoriser la continuation de l'exploitation, pendant cinq ans, de cinq appareils au plus dans les établissements publics, pour autant que ces appareils aient été mis en exploitation avant le 1er novembre 1997 (art. 60 al. 2 LMJ). L'art. 135 al. 2 OLMJ autorise en outre la réparation, l'échange ou le remplacement d'appareils par des machines de facture identique, pour autant que ces mesures contribuent à rétablir la situation initiale. En l'espèce, la recourante disposait des autorisations cantonales nécessaires au 1er novembre 1997 pour exploiter des machines à sous dans les établissements publics concernés d'Ursy, de Morat et de Bulle. Toutefois, en 1998 et 1999 pour les deux des premiers, et en 1999 pour le troisième, aucune autorisation cantonale d'exploitation n'a été délivrée, ces établissements ayant été fermés. C'est dans l'optique de leur réouverture que la recourante a sollicité l'autorisation d'y exploiter des machines à sous, au demeurant différentes de celles qui y étaient précédemment installées. On ne peut donc plus parler de la continuation de l'exploitation d'une machine à sous lorsque l'appareil en cause n'a pas été en fonction pendant un an ou deux en raison de la fermeture de l'établissement. Dans cette hypothèse, il ne s'agit en effet pas d'un échange d'appareils, mais d'une installation nouvelle, prohibée par la loi.
Comme le relève la Commission fédérale des maisons de jeu dans ses observations sur le recours, le raisonnement de la recourante la contraindrait à accepter l'installation de machines à sous dans tous les établissements publics ayant bénéficié d'une autorisation cantonale avant le 1er novembre 1997, même si l'exploitation avait cessé depuis plusieurs années. Tel n'est manifestement par le sens de l'art. 60 al. 2 LMJ. En tant que disposition dérogeant au principe général de l'art. 60 al. 1 - exploitation réservée aux seuls grands casinos et casinos - la disposition de l'art. 60 al. 2 LMJ doit être interprétée dans un sens restrictif. Dès lors, la Commission de recours, comme l'autorité intimée, n'a pas abusé de son pouvoir d'appréciation en retenant que, pour admettre la continuation de l'exploitation en l'an 2000, une autorisation cantonale d'exploitation aurait dû être délivrée pour chacune des années 1998 et 1999. Or il n'est pas contesté que les autorisations litigieuses ont été refusées à la recourante parce qu'elle ne remplissait pas cette condition.
4.- Au vu de ce qui précède, le recours doit être rejeté. Succombant, la recourante doit supporter les frais judiciaires (art. 156 al. 1, 153 et 153a OJ) et n'a pas droit à des dépens (art. 159 al. OJ).

Par ces motifs,
le Tribunal fédéral,
1. Rejette le recours.
2. Met un émolument judiciaire de 3'000 fr. à la charge de la recourante.
3. Communique le présent arrêt en copie au mandataire de la recourante, à la Commission fédérale de recours en matière de maisons de jeu, à la Commission fédérale des maisons de jeu et, pour information, à la Direction de la justice, de la police et des affaires militaires du canton de Fribourg.
_
Lausanne, le 17 septembre 2001 ROC/dxc
Au nom de la IIe Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
La Greffière,