zieht die Anklagekammer in Erwägung:
1.- a) Seit dem 27. Januar 2000 führt die Eidgenössische Steuerverwaltung (EStV) gegen A._ und einen Mitgesellschafter bei der X._ GmbH eine Strafuntersuchung wegen des Verdachts auf Leistungsbetrug im Sinne von Art. 14 des Bundesgesetzes über das Verwaltungsstrafrecht (VstrR, SR 313. 0). Er wird verdächtigt, zwischen April 1998 und Juli 1999 mittels wahrheitswidriger Steuererklärungen gegenüber der Mehrwertsteuerbehörde acht unrechtmässige Rückzahlungen von Vorsteuern in Höhe von insgesamt 4,6 Millionen Franken erwirkt zu haben.
Im Verlaufe des Verwaltungsstrafverfahrens kam zudem der Verdacht auf, dass Mitarbeiter der Abteilung Mehrwertsteuer der EStV an diesen Vorgängen beteiligt gewesen sein könnten.
Konkret wird A._ vorgeworfen, er habe den in jener Zeit in der Hauptabteilung Mehrwertsteuer bei der EStV für die X._ GmbH als Revisor tätig gewesenen B._ bestochen.
b) Gestützt auf eine Strafanzeige der EStV eröffnete die Bundesanwaltschaft am 11. März 2002 ein gerichtspolizeiliches Ermittlungsverfahren gegen A._ wegen des Verdachts der Bestechung von Amtsträgern des Bundes im Sinne von Art. 288 aStGB (der seit 1. Mai 2000 durch <ref-law> ersetzt ist). Am 12. März 2002 erliess die Bundesanwaltschaft einen entsprechenden Haftbefehl.
Am 13. März 2002 eröffnete die Bundesanwaltschaft dem Beschuldigten die Haft. Die eidgenössische Untersuchungsrichterin bestätigte die Haft am 15. März 2002. Sie ging dabei davon aus, der Haftgrund der Kollusionsgefahr sei erfüllt.
c) Mit Eingabe vom 26. März 2002 stellt die Bundesanwaltschaft bei der Anklagekammer des Bundesgerichts gestützt auf Art. 51 Abs. 2 BStP (in der seit 1. Januar 2002 geltenden Fassung) das Gesuch, es sei die Verlängerung der Untersuchungshaft von A._ um eine von der Anklagekammer festzusetzende angemessene Dauer, mindestens jedoch bis 15. Mai 2002, zu bewilligen.
Die Anklagekammer lud den Beschuldigten am 27. März 2002 ein, bis zum 3. April 2002 zum Gesuch der Bundesanwaltschaft Stellung zu nehmen.
A._ beantragt mit Eingabe vom 2. April 2002, er sei unverzüglich aus der Untersuchungshaft zu entlassen.
2.- Das Gesuch um Verlängerung der Untersuchungshaft gemäss Art. 51 Abs. 2 BStP muss am letzten Tag der Frist bei einer schweizerischen Poststelle aufgegeben werden (vgl.
Bänziger/Leimgruber, Das neue Engagement des Bundes in der Strafverfolgung, Bern 2001, N 213 zu Art. 51 BStP). Die Gesuchstellerin hat diese Frist gewahrt.
3.- Die Gesuchstellerin macht nebenbei geltend, beim Gesuchsgegner sei nicht nur der Haftgrund der Kollusionsgefahr, sondern auch derjenige der Fluchtgefahr erfüllt.
Damit ist sie nicht zu hören, weil die Anklagekammer im vorliegenden Verfahren nur für eine Haftverlängerung wegen Kollusionsgefahr zuständig ist (Art. 51 Abs. 2 BStP mit ausdrücklichem Hinweis auf Art. 44 Ziff. 2 BStP). Sofern die Gesuchstellerin einen Beschuldigten wegen des in Art. 44 Ziff. 1 BStP behandelten dringenden Fluchtverdachts in Haft nehmen (oder allenfalls in Haft behalten) will, hat sie gemäss der Vorschrift von Art. 47 BStP vorzugehen.
4.- a) Gemäss Art. 51 Abs. 2 und 3 BStP (in der seit
1. Januar 2002 geltenden Fassung) hat die Bundesanwaltschaft, die einen Beschuldigten im gerichtspolizeilichen Ermittlungsverfahren wegen Kollusionsgefahr in Untersuchungshaft genommen hat und beabsichtigt, die Haft länger als 14 Tage aufrechtzuerhalten, vor Ablauf dieser Frist bei der Anklagekammer um Haftverlängerung nachzusuchen. Die Verlängerung kann nur bewilligt werden, wenn die in Art. 44 Ziff. 2 BStP genannten Voraussetzungen für die Anordnung der Haft weiterhin erfüllt sind. Erforderlich ist daher, dass der Beschuldigte eines Verbrechens oder Vergehens dringend verdächtigt ist und ausserdem bestimmte Umstände den Verdacht begründen, dass er Spuren der Tat vernichten oder Zeugen oder Mitbeschuldigte zu falschen Aussagen verleiten oder sonst den Zweck der Untersuchung gefährden werde. Die bloss theoretische Möglichkeit, dass er in Freiheit kolludieren könnte, genügt grundsätzlich nicht, um die Fortsetzung der Untersuchungshaft zu rechtfertigen; es müssen vielmehr konkrete Indizien für eine solche Gefahr sprechen.
b) Der Gesuchsgegner stimmt der Schilderung des Sachverhalts durch die Gesuchstellerin "grösstenteils" zu.
In Bezug auf den dringenden Tatverdacht kann deshalb darauf und insbesondere auf die Geständnisse von B._ und D._ verwiesen werden.
In diesem Zusammenhang macht der Gesuchsgegner nur geltend, da sich B._ und D._ nicht hätten bestechen lassen, sondern bloss "als Mittäter zum Steuerbetrug erscheinen", sei der gegen ihn erhobene Bestechungsvorwurf obsolet.
Dieser Einwand ist unbegründet. Der Tatbestand der Bestechung ist auch dann erfüllt, wenn der Bestochene den Bestechenden angestiftet und die Beteiligten das Vorgehen in der Folge gemeinsam ausgeheckt haben (BGE 77 IV 39 E. 2 S. 48/49). Es kann folglich nicht die Rede sein, dass der Vorwurf der Bestechung gegenüber dem Gesuchsgegner von vornherein unbegründet wäre.
Bei dieser Rechtslage geht das Vorbringen des Gesuchsgegners, der Leistungsbetrug dürfe nicht ersatzweise als Grund für eine Haftverlängerung herangezogen werden, an der Sache vorbei. Im Übrigen wird das Verfahren der EStV in Anwendung von Art. 20 Abs. 3 VStrR an die Gesuchstellerin delegiert werden (Gesuch S. 5). Das Bundesgericht hat in einem unveröffentlichten Entscheid aus dem Jahre 1999 die Anordnung von Untersuchungshaft wegen Delikten an Bord eines Flugzeugs durch die Behörden des Kantons Zürich als verfassungskonform bezeichnet, obwohl die Strafuntersuchung von der Bundesanwaltschaft noch nicht an den Kanton Zürich delegiert worden war (Urteil 1P.408/1999 vom 27. Juli 1999, E. 2b).
c) Der Gesuchsgegner macht in Bezug auf die Kollusionsgefahr geltend, er wisse seit Mai 2000, dass gegen ihn ein Verfahren im Zusammenhang mit dem Steuerbetrug laufe, und hätte deshalb längstens Zeit gehabt, Beweismittel zu vernichten und mit Drittpersonen Absprachen zu treffen.
Im Übrigen seien auch die wesentlichen Beweismassnahmen bereits durchgeführt worden. Und schliesslich reiche der Umstand, dass die Beute noch nicht restlos habe aufgefunden werden können, nicht aus, um Kollusionsgefahr zu begründen.
Die Gesuchstellerin führt dazu aus, insbesondere im Hinblick auf den noch nicht vollständig geklärten Verbleib der hohen Deliktssumme seien Konti gesperrt und Bankunterlagen ediert worden, deren Analyse angesichts der Tatsache, dass die Beschuldigten über zahlreiche Kontoverbindungen verfügen, längere Zeit in Anspruch nehme. Der Gesuchsgegner bestreite den Bestechungsvorwurf vollumfänglich und mache seinen Mitgesellschafter bei der X._ GmbH sowie eine Drittperson, deren Namen er (angeblich) nicht mehr wisse, für die Vorgänge verantwortlich. Er räume jedoch ein, die Bankunterlagen mit den Hinweisen auf die Einzahlungen der EStV erhalten, im Tatzeitraum wiederholt grössere Geldbeträge abgehoben und selber über 250'000 Franken erhalten zu haben, damit er "die Augen geschlossen halte, d.h. nicht zuviel frage". Demgegenüber mache sein Mitgesellschafter "vollkommen entgegengesetzte Aussagen", die durch B._ und D._ gestützt würden. Für den Fall, dass der Gesuchsgegner aus der Haft entlassen werde, bestehe die ernsthafte Gefahr, dass er sich mit bereits bekannten oder mit allfälligen, bisher noch nicht identifizierten Beteiligten absprechen und dass er weitere Beweismittel vernichten könnte.
Unter diesen Umständen kann die Kollusionsgefahr ernsthaft nicht bestritten werden. Die Gesuchstellerin wird die ihr bereits vorliegenden und die noch angeforderten umfangreichen Unterlagen auswerten und anschliessend Einzel- und Konfrontationseinvernahmen durchführen müssen. Solange diese Ermittlungen nicht getätigt worden sind, besteht die konkrete Gefahr, dass der nicht geständige Gesuchsgegner in Freiheit kolludieren und den Zweck der Untersuchung vereiteln könnte. Was er dagegen vorbringt, ist nicht stichhaltig.
d) Da die noch durchzuführenden Ermittlungen beförderlich getätigt werden müssen und nicht übermässig umfangreich sind, erscheint jedoch die beantragte Haftverlängerung bis 15. Mai 2002 als unverhältnismässig lang. Sie lässt sich insbesondere nicht mit dem Hinweis darauf rechtfertigen, dass es allenfalls weitere, noch unbekannte Beteiligte geben könnte; konkrete Anhaltspunkte für eine solche Möglichkeit sind den Ausführungen der Gesuchstellerin nicht zu entnehmen. Unter dem Gesichtswinkel der Verhältnismässigkeit erscheint eine Haftverlängerung bis Freitag,
19. April 2002, als angemessen.

Demnach erkennt die Anklagekammer:
1.- Das Gesuch wird gutgeheissen und die gestützt auf Art. 44 Ziff. 2 BStP verfügte Untersuchungshaft bis Freitag,
19. April 2002, verlängert.
2.- Es werden keine Kosten erhoben.
3.- Dieses Urteil wird den Parteien schriftlich (Dispositiv vorab per Fax) mitgeteilt.
_
Lausanne, 4. April 2002
Im Namen der Anklagekammer
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Vizepräsident:
Der Gerichtsschreiber: