zieht die Anklagekammer in Erwägung:
1.- a) Seit dem 27. Januar 2000 führt die Eidgenössische Steuerverwaltung (EStV) gegen A._ und einen Mitgesellschafter bei der X._ GmbH eine Strafuntersuchung wegen des Verdachts auf Leistungsbetrug im Sinne von Art. 14 des Bundesgesetzes über das Verwaltungsstrafrecht (VstrR, SR 313. 0). Er wird verdächtigt, zwischen April 1998 und Juli 1999 mittels wahrheitswidriger Steuererklärungen gegenüber der Mehrwertsteuerbehörde acht unrechtmässige Rückzahlungen von Vorsteuern in Höhe von insgesamt 4,6 Millionen Franken erwirkt zu haben.
Im Verlaufe des Verwaltungsstrafverfahrens kam der Verdacht auf, dass Mitarbeiter der Abteilung Mehrwertsteuer der EStV an diesen Vorgängen beteiligt gewesen sein könnten.
Überdies entstand der Verdacht, dass C._, Mitbegründer und Teilhaber der Y._ GmbH, eine wesentliche Rolle zugekommen sein soll.
Konkret wird ihm vorgeworfen, er habe den in jener Zeit in der Hauptabteilung Mehrwertsteuer bei der EStV für die X._ GmbH als Revisor tätig gewesenen B._ bestochen.
b) Gestützt auf eine Strafanzeige der EStV eröffnete die Bundesanwaltschaft am 11. März 2002 ein gerichtspolizeiliches Ermittlungsverfahren gegen C._ wegen des Verdachts der Bestechung von Amtsträgern des Bundes im Sinne von Art. 288 aStGB (der seit 1. Mai 2000 durch <ref-law> ersetzt ist). Am 12. März 2002 erliess die Bundesanwaltschaft einen entsprechenden Haftbefehl.
Am 13. März 2002 eröffnete die Bundesanwaltschaft dem Beschuldigten die Haft. Die eidgenössische Untersuchungsrichterin bestätigte die Haft am 15. März 2002. Sie ging dabei davon aus, der Haftgrund der Kollusionsgefahr sei erfüllt.
c) Mit Eingabe vom 26. März 2002 stellt die Bundesanwaltschaft bei der Anklagekammer des Bundesgerichts gestützt auf Art. 51 Abs. 2 BStP (in der seit 1. Januar 2002 geltenden Fassung) das Gesuch, es sei die Verlängerung der Untersuchungshaft von C._ um eine von der Anklagekammer festzusetzende angemessene Dauer, mindestens jedoch bis 15. Mai 2002, zu bewilligen.
Die Anklagekammer lud den Beschuldigten am 27. März 2002 ein, bis zum 3. April 2002 zum Gesuch der Bundesanwaltschaft Stellung zu nehmen.
C._ beantragt mit Eingabe vom 28. März 2002, der Antrag der Bundesanwaltschaft sei abzuweisen und er sofort freizulassen.
2.- Das Gesuch um Verlängerung der Untersuchungshaft gemäss Art. 51 Abs. 2 BStP muss am letzten Tag der Frist bei einer schweizerischen Poststelle aufgegeben werden (vgl.
Bänziger/Leimgruber, Das neue Engagement des Bundes in der Strafverfolgung, Bern 2001, N 213 zu Art. 51 BStP). Die Gesuchstellerin hat diese Frist gewahrt.
3.- a) Gemäss Art. 51 Abs. 2 und 3 BStP (in der seit
1. Januar 2002 geltenden Fassung) hat die Bundesanwaltschaft, die einen Beschuldigten im gerichtspolizeilichen Ermittlungsverfahren wegen Kollusionsgefahr in Untersuchungshaft genommen hat und beabsichtigt, die Haft länger als 14 Tage aufrechtzuerhalten, vor Ablauf dieser Frist bei der Anklagekammer um Haftverlängerung nachzusuchen. Die Verlängerung kann nur bewilligt werden, wenn die in Art. 44 Ziff. 2 BStP genannten Voraussetzungen für die Anordnung der Haft weiterhin erfüllt sind. Erforderlich ist daher, dass der Beschuldigte eines Verbrechens oder Vergehens dringend verdächtigt ist und ausserdem bestimmte Umstände den Verdacht begründen, dass er Spuren der Tat vernichten oder Zeugen oder Mitbeschuldigte zu falschen Aussagen verleiten oder sonst den Zweck der Untersuchung gefährden werde. Die bloss theoretische Möglichkeit, dass er in Freiheit kolludieren könnte, genügt grundsätzlich nicht, um die Fortsetzung der Untersuchungshaft zu rechtfertigen; es müssen vielmehr konkrete Indizien für eine solche Gefahr sprechen.
b) In grundsätzlicher Hinsicht betont der Gesuchsgegner zunächst, es könne im vorliegenden Verfahren nur um eine Verlängerung der Untersuchungshaft wegen angeblichen Bestechens gehen, weil das Verfahren betreffend Leistungsbetrug nicht an die Gesuchstellerin delegiert worden sei.
Das Vorbringen ist schon deshalb unbegründet, weil eine Verlängerung der Untersuchungshaft auch dann gerechtfertigt ist, wenn nur vom Vorwurf der Bestechung ausgegangen wird (s. unten E. 3c, d und e). Im Übrigen wird das Verfahren der EStV in Anwendung von Art. 20 Abs. 3 VStrR an die Gesuchstellerin delegiert werden (Gesuch S. 5). Das Bundesgericht hat in einem unveröffentlichten Entscheid aus dem Jahre 1999 die Anordnung von Untersuchungshaft wegen Delikten an Bord eines Flugzeugs durch die Behörden des Kantons Zürich als verfassungskonform bezeichnet, obwohl die Strafuntersuchung von der Bundesanwaltschaft noch nicht an den Kanton Zürich delegiert worden war (Urteil 1P.408/1999 vom 27. Juli 1999, E. 2b).
c) Es steht fest, dass der Gesuchsgegner durch B._ und D._ belastet wird. Seine Behauptung, diese Belastungen seien "zu Unrecht" erfolgt, ist im vorliegenden Verfahren nicht zu prüfen. Jedenfalls ergibt sich aus seiner Eingabe nicht, dass der dringende Tatverdacht nicht gegeben wäre. In diesem Punkt kann auf die Darstellung der Gesuchstellerin und insbesondere auf die Geständnisse von B._ und D._ verwiesen werden.
Der Gesuchsgegner macht in diesem Zusammenhang geltend, B._ und D._ hätten ausgesagt, sie selber hätten die Idee gehabt und Gleichgesinnte gesucht; folglich komme ein Bestechen im Sinne von Art. 288 aStGB durch ihn von vornherein nicht in Betracht.
Dieser Einwand ist unbegründet. Der Tatbestand der Bestechung ist auch dann erfüllt, wenn der Bestochene den Bestechenden angestiftet und die Beteiligten das Vorgehen in der Folge gemeinsam ausgeheckt haben (BGE 77 IV 39 E. 2 S. 48/49). Es kann folglich nicht die Rede sein, dass der Vorwurf der Bestechung gegenüber dem Gesuchsgegner von vornherein unbegründet wäre.
d) Der Gesuchsgegner macht in Bezug auf die Kollusionsgefahr geltend, die Beteiligten hätten seit langem von den Ermittlungen gewusst und bis zu ihrer Verhaftung über zwei Jahre Zeit gehabt, sich abzusprechen, Spuren zu verwischen oder Deliktsgut ins Ausland zu schaffen. Dass es noch nicht identifizierte Mittäter geben soll, könne gestützt auf die Aussagen von B._ und D._ ausgeschlossen werden.
Die Gesuchstellerin führt dazu aus, insbesondere im Hinblick auf den noch nicht vollständig geklärten Verbleib der hohen Deliktssumme seien Konti gesperrt und Bankunterlagen ediert worden, deren Analyse angesichts der Tatsache, dass die Beschuldigten über zahlreiche Kontoverbindungen verfügen, längere Zeit in Anspruch nehme. Der Gesuchsgegner bestreite den Bestechungsvorwurf vollumfänglich, obwohl er durch B._ und D._ schwer belastet werde. Für den Fall, dass der Gesuchsgegner aus der Haft entlassen werde, bestehe die ernsthafte Gefahr, dass er sich mit bereits bekannten oder mit allfälligen, bisher noch nicht identifizierten Beteiligten absprechen und dass er weitere Beweismittel vernichten könnte.
Unter diesen Umständen kann die Kollusionsgefahr ernsthaft nicht bestritten werden. Die Gesuchstellerin wird die ihr bereits vorliegenden und die noch angeforderten umfangreichen Unterlagen auswerten und anschliessend Einzel- und Konfrontationseinvernahmen durchführen müssen. Solange diese Ermittlungen nicht getätigt worden sind, besteht die konkrete Gefahr, dass der nicht geständige Gesuchsgegner in Freiheit kolludieren und den Zweck der Untersuchung vereiteln könnte.
Was er dagegen vorbringt, ist zur Hauptsache unbegründet.
Es ist allerdings einzuräumen, dass der Hinweis der Gesuchstellerin auf allfällige weitere, noch unbekannte Beteiligte eine Verlängerung der Untersuchungshaft nicht zu begründen vermag, weil ihren Ausführungen keine konkreten Anhaltspunkte für eine solche Möglichkeit zu entnehmen sind.
e) Der Gesuchsgegner ist schliesslich der Auffassung, die Untersuchungshaft sei angesichts der bisherigen Ermittlungen und Erkenntnisse unverhältnismässig.
Da die noch durchzuführenden Ermittlungen beförderlich getätigt werden müssen und nicht übermässig umfangreich sind, erscheint die beantragte Haftverlängerung bis 15. Mai 2002 tatsächlich als unverhältnismässig lang.
Unter Berücksichtigung aller Umstände ist die Haft bis Freitag, 19. April 2002, zu verlängern.

Demnach erkennt die Anklagekammer:
1.- Das Gesuch wird gutgeheissen und die gestützt auf Art. 44 Ziff. 2 BStP verfügte Untersuchungshaft bis Freitag,
19. April 2002, verlängert.
2.- Es werden keine Kosten erhoben.
3.- Dieses Urteil wird den Parteien schriftlich (Dispositiv vorab per Fax) mitgeteilt.
_
Lausanne, 4. April 2002
Im Namen der Anklagekammer
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Vizepräsident: Der Gerichtsschreiber: