Erwägungen:
1.
1.1. In einem Verfahren der internationalen Informationsamtshilfe gemäss dem Abkommen vom 9. September 1966 zwischen der Schweiz und Frankreich zur Vermeidung der Doppelbesteuerung auf dem Gebiet der Steuern vom Einkommen und vom Vermögen und zur Vermeidung von Steuerbetrug und Steuerflucht (DBA CH-FR; SR 0.672.934.91) erliess das Bundesverwaltungsgericht am 12. April 2021 im Verfahren A-6040/2020 eine Zwischenverfügung. Dieser zufolge wurde der Beschwerdeführer, A._, aufgefordert, bis zum 3. Mai 2021 einen Kostenvorschuss von Fr. 5'000.-- zu erbringen, ansonsten auf die Beschwerde unter Kostenfolge nicht eingetreten werde.
1.2. Mit Eingabe vom 22. April 2021 lässt A._ (nachfolgend: die amtshilfebetroffene Person) beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben. Er beantragt, die angefochtene Zwischenverfügung sei aufzuheben.
1.3. Der Abteilungspräsident als Instruktionsrichter (Art. 32 Abs. 1 BGG [SR 173.110]) hat von Instruktionsmassnahmen, namentlich von einem Schriftenwechsel (Art. 102 Abs. 1 BGG), abgesehen.
2.
2.1. Gegen einen Entscheid auf dem Gebiet der internationalen Amtshilfe in Steuersachen ist die Beschwerde gemäss Art. 84a BGG nur zulässig, sofern sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt oder wenn es sich aus anderen Gründen um einen besonders bedeutenden Fall im Sinne von Art. 84 Abs. 2 BGG handelt (BGE 139 II 404 E. 1.3 S. 410). Mit dieser Einschränkung bezweckt der Gesetzgeber die wirksame Begrenzung des Zugangs zum Bundesgericht im Bereich der internationalen Amtshilfe in Steuerangelegenheiten (BGE 145 IV 99 E. 1.1 und 1.2 S. 104 f. zum insofern gleichen Art. 84 BGG). Dem Grundsatz nach ist zu verlangen, dass die aufgeworfene Frage dem Bereich der internationalen Amtshilfe in Steuersachen angehört (Urteile 2C_1047/2018 vom 14. Dezember 2018 E. 4.4; 2C_995/2018 vom 14. November 2018 E. 2.2.3; 2C_223/2018 vom 14. März 2018 E. 2.3.2).
2.2. Die amtshilfebetroffene Person hat in ihrer Beschwerdeschrift detailliert aufzuzeigen, dass und weshalb diese besondere Sachurteilsvoraussetzung erfüllt ist (Art. 42 Abs. 2 Satz 2 BGG), es sei denn, dies treffe ganz offensichtlich zu (BGE 139 II 340 E. 4 S. 342; 139 II 404 E. 1.3 S. 410; Urteil 2C_780/2018 vom 1. Februar 2021 E. 1.2). Bei der Beantwortung der Frage, ob eine Rechtsfrage von grundsätzlicher Bedeutung oder aus anderen Gründen ein besonders bedeutender Fall vorliege, steht dem Bundesgericht ein weiter Ermessensspielraum zu (BGE 145 IV 99 E. 1.2 S. 104 zum gleichartigen Art. 84 BGG).
2.3.
2.3.1. Die Vorinstanz hat die amtshilfebetroffene Person in Anwendung von Art. 63 Abs. 4 des Bundesgesetzes vom 20. Dezember 1968 über das Verwaltungsverfahren (VwVG; SR 172.021) aufgefordert, innert der von ihr angesetzten Frist einen Kostenvorschuss von Fr. 5'000.-- zu leisten. Sie verband dies mit der Androhung, dass im Fall der Nichtleistung auf die Beschwerde nicht eingetreten werde.
2.3.2. Die amtshilfebetroffene Person äussert sich zu der ihres Erachtens bundesrechtswidrigen Anwendung von Art. 63 Abs. 4 VwVG, was sie hauptsächlich mit Argumenten stützt, die ihrerseits die Hauptsache betreffen. Dass und inwiefern es sich beim Kostenvorschuss um eine Rechtsfrage von grundsätzlicher Bedeutung handeln könnte, zeigt die amtshilfebetroffene Person entgegen Gesetz und Praxis nicht auf. Dabei handelt es sich aber um eine unerlässliche Sachurteilsvoraussetzung. Daran fehlt es hier offensichtlich. Auf die Beschwerde ist daher nicht einzutreten.
3.
Nach dem Unterliegerprinzip (Art. 66 Abs. 1 Satz 1 BGG) sind die Kosten des bundesgerichtlichen Verfahrens der amtshilfebetroffenen Person aufzuerlegen. Der Schweizerischen Eidgenossenschaft, die in ihrem amtlichen Wirkungskreis obsiegt, ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Kosten des bundesgerichtlichen Verfahrens von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 5. Mai 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Kocher