Sachverhalt:
A.
Mit Schreiben vom 20. März 2021 (übermittelt per E-Mail) ersuchten die USA die Schweiz um Verhaftung des russischen Staatsangehörigen A.A._ (alias A.B._) zwecks Auslieferung. Das Bundesamt für Justiz (BJ) verlangte daraufhin von den US-Behörden ergänzende Informationen. Nach Eingang der Antwort erliess das BJ am 21. März 2021 eine Haftanordnung und noch am selben Tag wurde A.A._ in der Schweiz festgenommen und in provisorische Auslieferungshaft versetzt. Anlässlich seiner Einvernahme erklärte er, mit einer Auslieferung an die USA nicht einverstanden zu sein. Am 23. März 2021 erliess das BJ einen Auslieferungshaftbefehl. Eine von A.A._ dagegen erhobene Beschwerde wies das Bundesstrafgericht mit Entscheid vom 30. April 2021 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 14. Mai 2021 beantragt A.A._, der Entscheid des Bundesstrafgerichts sei aufzuheben und er selbst sofort aus der Auslieferungshaft zu entlassen. Zudem sei ihm eine Entschädigung von Fr. 200.-- für jeden Tag ungerechtfertigte Haft zuzusprechen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen und seien Ersatzmassnahmen anzuordnen.
Es wurde kein Schriftenwechsel durchgeführt.

Erwägungen:
1.
1.1. Gemäss <ref-law> ist gegen einen Entscheid auf dem Gebiet der internationalen Rechtshilfe in Strafsachen die Beschwerde nur zulässig, wenn er unter anderem eine Auslieferung betrifft und es sich um einen besonders bedeutenden Fall handelt (Abs. 1). Ein besonders bedeutender Fall liegt insbesondere vor, wenn Gründe für die Annahme bestehen, dass elementare Verfahrensgrundsätze verletzt worden sind oder das Verfahren im Ausland schwere Mängel aufweist (Abs. 2; <ref-ruling> E. 1 S. 104 ff. mit Hinweisen).
<ref-law> bezweckt die wirksame Begrenzung des Zugangs zum Bundesgericht im Bereich der internationalen Rechtshilfe in Strafsachen. Ein besonders bedeutender Fall ist deshalb mit Zurückhaltung anzunehmen. Dem Bundesgericht steht insofern ein weiter Ermessensspielraum zu (zum Ganzen: <ref-ruling> E. 1.2 S. 104 f. mit Hinweisen).
Gemäss <ref-law> ist in der Begründung der Rechtsschrift in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Ist eine Beschwerde nur unter der Voraussetzung zulässig, dass ein besonders bedeutender Fall nach Art. 84 vorliegt, so ist auszuführen, warum diese Voraussetzung erfüllt ist (<ref-ruling> E. 1.5 S. 107 mit Hinweisen).
Nach <ref-law> entscheidet die Abteilung in Dreierbesetzung über Nichteintreten auf Beschwerden, bei denen kein besonders bedeutender Fall vorliegt (Abs. 1). Der Entscheid wird summarisch begründet. Es kann ganz oder teilweise auf den angefochtenen Entscheid verwiesen werden (Abs. 3).
1.2. Gemäss <ref-law> sind auf dem Gebiet der internationalen Rechtshilfe in Strafsachen Zwischenentscheide nicht anfechtbar. Vorbehalten bleiben Beschwerden gegen Entscheide unter anderem über die Auslieferungshaft, sofern die Voraussetzungen von Abs. 1 erfüllt sind. Da ein erlittener Freiheitsentzug nicht mehr rückgängig gemacht werden kann, trifft dies zu (<ref-ruling> E. 1.1 S. 22). Auch ein Entscheid über die Auslieferungshaft ist jedoch nur anfechtbar, wenn ein besonders bedeutender Fall nach <ref-law> gegeben ist (<ref-ruling> E. 1.2 S. 22 mit Hinweisen).
1.3. Der Beschwerdeführer ist der Auffassung, es liege ein besonders bedeutender Fall vor, weil er erstens mit seiner Gesellschaft eine strategisch wichtige Rolle für die russische Regierung spiele, weil zweitens der Verdacht bestehe, dass die US-Behörden Beweise illegal beschafft hätten, weil drittens der Haftbefehl des District Court of Massachusetts vom 19. März 2021 in Wirklichkeit nicht existiere und weil viertens das Bundesstrafgericht in Abweichung von der Rechtsprechung des Bundesgerichts keine Ersatzmassnahmen angeordnet habe.
Die angeblich strategische Bedeutung, die der Beschwerdeführer sich selbst und seiner Gesellschaft für die russische Regierung beimisst, reicht allein nicht aus, um einen besonders bedeutenden Fall anzunehmen (vgl. Urteil 1C_356/2016 vom 12. September 2016 E. 1.2 mit Hinweisen). Der Vorwurf der illegalen Beschaffung von Beweismitteln durch den ersuchenden Staat ist nur insoweit zu prüfen, als auf die offensichtliche Unzulässigkeit der Auslieferung geschlossen werden könnte (<ref-law> [SR 351.1]; Urteil 8G.6/1998 vom 25. Februar 1998 E. 3e mit Hinweisen). Dies ist zu verneinen. Das Bundesstrafgericht hat den Beschwerdeführer in dieser Hinsicht zu Recht darauf hingewiesen, er habe die entsprechenden Einwände im Auslieferungsverfahren geltend zu machen. Weiter hat der Antrag der USA auf vorläufige Auslieferungshaft gemäss Art. 13 Abs. 2 lit. b des Auslieferungsvertrags vom 14. November 1990 zwischen der Schweizerischen Eidgenossenschaft und den Vereinigten Staaten von Amerika (SR 0.353.933.6) lediglich anzugeben, dass ein Haftbefehl vorliegt. Der Umstand, dass der Haftbefehl des District Court of Massachusetts vom 19. März 2021, auf den sich der Auslieferungshaftbefehl des BJ stützt, dem Ersuchen nicht beigelegt wurde, führt somit nicht zur Unrechtmässigkeit der Haft. Zudem besteht ein weiterer Haftbefehl desselben District Courts gegen den Beschwerdeführer, datierend vom 6. April 2021, den dieser dem Bundesgericht eigens eingereicht hat. Der angefochtene Entscheid enthält im Übrigen zu dieser Frage keine Ausführungen und der Beschwerdeführer behauptet nicht, diesen angeblichen Mangel vor dem Bundesstrafgericht geltend gemacht zu haben. Schliesslich hat sich das Bundesstrafgericht mit den vom Beschwerdeführer vorgeschlagenen Ersatzmassnahmen für Auslieferungshaft auseinandergesetzt. Dass es die Fluchtgefahr als erheblich einstufte und Ersatzmassnahmen als ungenügend bezeichnete, lässt weder eine Abweichung von der bundesgerichtlichen Rechtsprechung noch eine Verletzung elementarer Verfahrensgrundsätze (im Sinne von <ref-law>) erkennen.
Für das Bundesgericht besteht daher kein Anlass, die Sache an die Hand zu nehmen.
2.
Auf die Beschwerde ist nicht einzutreten.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Justiz, Fachbereich Auslieferung, und dem Bundesstrafgericht, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 20. Mai 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold