A.- Les 21 et 28 juillet 2000, la Commission fédérale des maisons de jeu a autorisé la société X._ SA à procéder au remplacement d'un certain nombre de machines à sous servant aux jeux de hasard, dans différents établissements publics du canton de Fribourg. En revanche, elle a interdit à la société de mettre en exploitation de nouveaux appareils au café A._, à Ursy, au café-bar B._, à Morat et au café-bar C._, à Bulle, pour le motif que ces établissements n'avaient plus été exploités depuis 1998 ou 1999. B.- Après avoir déposé une demande de reconsidération qui a été rejetée le 13 août 2000, X._ a recouru auprès de la Commission fédérale de recours en matière de maisons de jeu qui, par décision du 2 février 2001, a rejeté le recours. Elle a retenu en bref que si la Commission fédérale des maisons de jeu n'était pas compétente pour autoriser formellement le remplacement de machines à sous, elle pouvait attester, par le biais de décisions constatatoires, que le remplacement de certains appareils était conforme ou non au droit fédéral. En outre, la Commission de recours a confirmé que le refus de remplacer des appareils à sous dans des établissements qui n'avaient pas bénéficié d'autorisations d'exploitation en 1998 et 1999 était conforme à la réglementation de l'art. 60 al. 2 de la loi fédérale sur les jeux de hasard et les maisons de jeu du 18 décembre 1998 (loi sur les maisons de jeu; LMJ; RS 935. 52). C.- Agissant par la voie du recours de droit administratif, la société X._ conclut, avec suite de frais et dépens, à l'annulation de la décision de la Commission de recours du 2 février 2001 et à la nullité des décisions de la Commission fédérale des maisons de jeu des 21 et 28 juillet 2000, subsidiairement à leur annulation et à la constatation que l'autorité cantonale peut délivrer les autorisations requises. La Commission fédérale de recours en matière de maisons de jeu et la Direction de la justice, de la police et des affaires militaires du canton de Fribourg ont renoncé à se déterminer. Au terme de ses observations, la Commission fédérale des maisons de jeu propose de rejeter le recours.