zieht die Anklagekammer in Erwägung:
1.- a) Seit dem 27. Januar 2000 führt die Eidgenössische Steuerverwaltung (EStV) gegen A._ und einen Mitgesellschafter bei der X._ GmbH eine Strafuntersuchung wegen des Verdachts auf Leistungsbetrug im Sinne von Art. 14 des Bundesgesetzes über das Verwaltungsstrafrecht (VstrR, SR 313. 0). Er wird verdächtigt, zwischen April 1998 und Juli 1999 mittels wahrheitswidriger Steuererklärungen gegenüber der Mehrwertsteuerbehörde acht unrechtmässige Rückzahlungen von Vorsteuern in Höhe von insgesamt 4,6 Millionen Franken erwirkt zu haben.
Im Verlaufe des Verwaltungsstrafverfahrens kam zudem der Verdacht auf, dass Mitarbeiter der Abteilung Mehrwertsteuer der EStV an diesen Vorgängen beteiligt gewesen sein könnten.
Überdies entstand der Verdacht, dass C._, Mitbegründer und Teilhaber der Y._ GmbH, eine wesentliche Rolle zugekommen sein soll.
Konkret wird ihm vorgeworfen, er habe den in jener Zeit in der Hauptabteilung Mehrwertsteuer bei der EStV für die X._ GmbH als Revisor tätig gewesenen B._ bestochen.
Gestützt auf eine Strafanzeige der EStV eröffnete die Bundesanwaltschaft (BA) am 11. März 2002 ein gerichtspolizeiliches Ermittlungsverfahren gegen C._ wegen des Verdachts der Bestechung von Amtsträgern des Bundes im Sinne von Art. 288 aStGB. Am 12. März 2002 erliess die BA einen entsprechenden Haftbefehl.
Am 13. März 2002 eröffnete die BA dem Beschuldigten die Haft. Die eidgenössische Untersuchungsrichterin bestätigte die Haft am 15. März 2002. Sie ging dabei davon aus, der Haftgrund der Kollusionsgefahr sei erfüllt.
b) Mit Eingabe vom 26. März 2002 stellte die BA bei der Anklagekammer des Bundesgerichts gestützt auf Art. 51 Abs. 2 BStP das Gesuch, es sei die Verlängerung der Untersuchungshaft von C._ um eine von der Anklagekammer festzusetzende angemessene Dauer, mindestens jedoch bis 15. Mai 2002, zu bewilligen.
Die Anklagekammer hiess das Gesuch am 4. April 2002 gut und verlängerte die gestützt auf Art. 44 Ziff. 2 BStP verfügte Untersuchungshaft bis Freitag, 19. April 2002. Sie ging dabei davon aus, dass die Ermittlungen, die zur Klärung der eine Kollusionsgefahr begründenden offenen Fragen durchzuführen seien, beförderlich getätigt werden müssen und nicht übermässig umfangreich seien, weshalb die beantragte Haftverlängerung bis 15. Mai 2002 unverhältnismässig lang sei; unter dem Gesichtswinkel der Verhältnismässigkeit erscheine eine Haftverlängerung bis 19. April 2002 als angemessen (8G. 27/2002).
c) Nach Abschluss des gerichtspolizeilichen Ermittlungsverfahrens beantragte die BA am 12. April 2002 beim Eidgenössischen Untersuchungsrichteramt gestützt auf Art. 108 Abs. 1 BStP die Einleitung einer Eidgenössischen Voruntersuchung gegen C._.
d) Mit Eingabe vom 18. April 2002 stellt der Eidgenössische Untersuchungsrichter bei der Anklagekammer des Bundesgerichts gestützt auf Art. 51 Abs. 2 BStP das Gesuch, es sei die Verlängerung der Untersuchungshaft von C._ um eine von der Anklagekammer festzusetzende angemessene Dauer, mindestens jedoch bis 15. Juni 2002, zu bewilligen.
Die Anklagekammer lud den Beschuldigten am 19. April 2002 ein, bis zum 24. April 2002 zum Gesuch des Eidgenössischen Untersuchungsrichters Stellung zu nehmen.
C._ beantragt mit Eingabe vom 19. April 2002, der Antrag des Eidgenössischen Untersuchungsrichters sei abzuweisen.
2.- Das vorliegende Gesuch um erneute Haftverlängerung muss - wie bereits das erste Gesuch gemäss Art. 51 Abs. 2 BStP - am letzten Tag der Frist bei einer schweizerischen Poststelle aufgegeben werden (Urteil der Anklagekammer 8G.27/2002 vom 4. April 2002, E. 2). Die Gesuchstellerin hat diese Frist gewahrt.
3.- a) Es kann zunächst insbesondere in rechtlicher Hinsicht auf das Urteil der Anklagekammer vom 4. April 2002 verwiesen werden.
b) Der Gesuchsteller macht geltend, die Akten, die 28 Bundesordner der BA sowie 23 Bundesordner der EStV umfassten, seien ihm am 15. April 2002 übergeben worden. Er sei im Begriff, die vorliegenden Akten und Unterlagen zu studieren und auszuwerten, was mit Blick auf das umfangreiche Aktenmaterial geraume Zeit beanspruche. Anschliessend seien unter anderem noch verschiedene Einzel- und allenfalls Konfrontationseinvernahmen durchzuführen. Es bedürfe keiner langen Ausführungen, um darzutun, dass die noch durchzuführenden Untersuchungshandlungen wegen der erst vor einigen Tagen erfolgten Aktenübergabe an das Eidgenössische Untersuchungsrichteramt noch nicht hätten getätigt werden können.
Solange diese Untersuchungshandlungen nicht vorgenommen worden seien, bestehe weiterhin die konkrete Gefahr, dass der Gesuchsgegner in Freiheit kolludieren und den Zweck der Untersuchung vereiteln könnte.
Der Gesuchsgegner bringt dagegen vor, alle Beteiligten seien von verschiedenen Behörden mehrfach befragt worden und geständig. Insbesondere habe er in einer Befragung vom 11. April 2002 die Beschuldigungen, die gegen ihn gestützt auf die Aussagen der anderen Beteiligten erhoben worden seien, fast vollständig bestätigt. Der Umfang der Akten könne zur Begründung einer Kollusionsgefahr nicht herangezogen werden. Der Gesuchsteller begründe denn auch nicht, inwiefern konkrete Anhaltspunkte dafür bestünden, dass der Gesuchsgegner kolludieren könnte. Und schliesslich hätten die Behörden längstens Zeit gehabt, die angeblich noch beabsichtigten Einvernahmen durchzuführen; so sei er selber vom 19. März bis 10. April von niemandem befragt worden.
c) Dem Gesuch um (erneute) Verlängerung der Untersuchungshaft muss entnommen werden können, welche konkreten Indizien den Verdacht begründen, dass der Beschuldigte in Freiheit kolludieren (zum Beispiel Spuren beseitigen oder Beteiligte oder Drittpersonen beeinflussen) könnte; die Angabe, dass diese Möglichkeit theoretisch besteht, reicht nicht aus.
Das vorliegende Gesuch genügt den Begründungsanforderungen nicht. Der Gesuchsteller macht nur geltend, er habe das umfangreiche Aktenmaterial noch nicht hinlänglich studieren und auswerten können und gedenke, noch weitere Einvernahmen durchzuführen. Daraus ergeben sich jedoch offensichtlich keine konkreten Indizien dafür, dass der Gesuchsgegner in Freiheit kolludieren könnte.
Der Gesuchsteller verweist denn auch zur Hauptsache auf die Eingabe der BA vom 26. März 2002. Auch dieser Hinweis genügt jedoch nicht. Die Anklagekammer hat in ihrem Entscheid vom 4. April 2002 deutlich gemacht, dass die ihr damals vorliegenden Informationen nur eine verhältnismässig kurze Haftverlängerung bis 19. April 2002 zuliessen, zumal die zur Beseitigung der Kollusionsgefahr noch durchzuführenden Ermittlungen nicht übermässig umfangreich seien und rasch durchgeführt werden könnten. Dass diese Annahme der Anklagekammer unrichtig gewesen wäre, wird im neuen Gesuch nicht geltend gemacht.
Inwieweit die Ermittlungen nach dem Entscheid der Anklagekammer beförderlich vorangetrieben worden sind, ist dem neuen Gesuch nicht zu entnehmen. Der Gesuchsteller führt jedoch aus, dass die BA das gerichtspolizeiliche Ermittlungsverfahren am 12. April 2002 - also während der durch die Anklagekammer eingeräumten Frist - als abgeschlossen betrachtet und deshalb beim Eidgenössischen Untersuchungsrichteramt die Einleitung einer Eidgenössischen Voruntersuchung gegen den Gesuchsgegner beantragt hat. Ob diese Umteilung zum richtigen Zeitpunkt vorgenommen worden ist, kann und muss nicht geprüft werden; sie darf jedenfalls nicht zu einer Verzögerung der Ermittlungen führen, die die Kollusionsgefahr rasch beseitigen könnten.
Gesamthaft gesehen besteht aufgrund der vorliegenden Informationen höchstens die theoretische Möglichkeit, dass der Gesuchsgegner in Freiheit kolludieren könnte.
Dies reicht für eine Haftverlängerung nicht aus. Das Gesuch muss folglich abgewiesen werden.
Demnach erkennt die Anklagekammer:
1.- Das Gesuch wird abgewiesen.
2.- Der Eidgenössische Untersuchungsrichter wird angewiesen, C._ unverzüglich aus der Haft zu entlassen.
3.- Es werden keine Kosten erhoben.
4.- Dem Gesuchsgegner wird für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'000.-- aus der Bundesgerichtskasse entrichtet.
5.- Dieses Urteil wird den Parteien schriftlich mitgeteilt.
_
Lausanne, 25. April 2002
Im Namen der Anklagekammer
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: