(Teilzahlungszuschläge, Mahngebühren), hat sich ergeben: A.- Die X._ AG betreibt den Versand- und Warenhaushandel und ist seit 1. Januar 1995 im Register der Mehrwertsteuerpflichtigen eingetragen. Mit Schreiben vom 7. Februar 1997 forderte die Eidgenössische Steuerverwaltung die X._ AG auf, für die Jahre 1995 und 1996 eine Aufstellung einzureichen, aus welcher die Erträge aus Mahngebühren ersichtlich seien. Sie bezog sich auf die Branchenbroschüre Nr. 6 für den Detailhandel I, wonach Mahngebühren als Kostenfaktor der gelieferten Gegenstände gelten und zum gleichen Steuersatz wie die Lieferungen zu versteuern seien. Dieser Aufforderung kam die Mehrwertsteuerpflichtige nach. Mit Ergänzungsabrechnung Nr. 7286127 vom 3. März 1997 belastete die Eidgenössische Steuerverwaltung der X._ AG die Mehrwertsteuer im Betrag von Fr. 3'655.-- für Erträge aus Mahngebühren für die Zeit vom 1. Januar 1995 bis 31. Dezember 1996. Da die X._ AG die Nachbelastung bestritt, erliess die Eidgenössische Steuerverwaltung am 15. Oktober 1997 einen förmlichen Entscheid, mit dem sie den Steuerbetrag gemäss Ergänzungsabrechnung (mit einer geringfügigen Korrektur) bestätigte. Überdies stellte die Eidgenössische Steuerverwaltung fest, die Beschwerdeführerin habe nicht nur die Mahngebühren, sondern auch die Teilzahlungszuschläge, die sie ihren Kunden bei Ratenzahlung in Rechnung stelle, als Teil des Lieferungsentgelts zu versteuern. Eine Einsprache gegen diesen Entscheid wies die Eidgenössische Steuerverwaltung am 26. Mai 2000 ab. B.- Die X._ AG führte Beschwerde bei der Eidgenössischen Steuerrekurskommission. Diese wies mit Entscheid vom 13. Februar 2001 die Beschwerde ab. Zur Begründung wird im Wesentlichen ausgeführt: Nach der bundesgerichtlichen Rechtsprechung zur Warenumsatzsteuer seien Teilzahlungszuschläge steuerbares Entgelt. Das Bundesgericht betrachte Zuschläge als zur steuerbaren Leistung gehörend, weil der Warenempfänger die Zuschläge auf sich nehmen müsse, damit er die Lieferung erhalte. Bei der Mehrwertsteuer seien die gleichen Grundsätze massgebend. Die Kunden der Beschwerdeführerin hätten die Möglichkeit, die Rechnungen sofort zu bezahlen oder mit der Beschwerdeführerin Ratenzahlungen zu vereinbaren. Die Beschwerdeführerin biete solche Teilzahlungsvereinbarungen ferner an, wenn der Kunde mit der Zahlung in Verzug sei. Der Abnehmer der Ware bezahle die Teilzahlungszuschläge, damit er die Leistung erhalte bzw. behalten dürfe. Diese bildeten folglich das Entgelt für die Lieferung und seien wie dieses zu versteuern. Gleich verhalte es sich mit den Mahnspesen, welche Kostenfaktor der Leistung seien und die der Verbraucher neben dem eigentlichen Kaufpreis aufwende, weil er die Ware bereits erhalten habe. Auch diese stünden mit der Leistung in einem ursächlichen Zusammenhang und seien Bestandteil des Entgelts. C.- Mit Verwaltungsgerichtsbeschwerde beantragt die X._ AG, der Entscheid der Eidgenössischen Steuerrekurskommission sei aufzuheben und es sei festzustellen, dass die von der Beschwerdeführerin nebst dem Barkaufpreis eingenommenen Beträge nicht zum steuerbaren Entgelt zu rechnen seien. Die Eidgenössische Steuerverwaltung schliesst in ihrer Vernehmlassung auf Abweisung der Beschwerde. Die Eidgenössische Steuerrekurskommission hat auf eine Stellungnahme verzichtet. Auf Antrag der Beschwerdeführerin wurde ein zweiter Schriftenwechsel durchgeführt.