Sachverhalt: A. Am 22. März 2012 reiste X._, von Shanghai/CN herkommend, in die Schweiz ein. Beim Passieren des grünen Durchgangs ("Nichts zu deklarieren") unterzog die Zollstelle Zürich-Flughafen ihn einer Kontrolle. Dabei stiess sie auf vier Goldbarren zu je 500 Gramm und ein Geschirr-Set. Die Goldbarren mit den Fabrikationsnummern ..., ..., ..., ... tragen eine Reihe von Angaben. Es handelt sich dabei um das Bankenlogo der Bank of China Ltd., den Schriftzug "Bank of China" in chinesischer Schrift, die Gewichtsbezeichnung "500g", den Schriftzug "fine gold", die Feingehaltsangabe von "999.9" und das Glückssymbol "Ji" ("Gott möge Verheissungsvolles geben und die Welt segnen"), dieses umgeben von Verzierungen in der Form von Wolken und "schmucken fledermausartigen Mustern in den Ecken". Hingegen fehlt ein Stempelzeichen, das einem anerkannten Prüfer-Schmelzer zugeordnet werden kann. B. Die Zollstelle erhob mit Veranlagungsverfügung Zoll/MWST vom 22. März 2012 die Einfuhrsteuer auf dem Geschirr-Set und verfügte als Zollpfand die Beschlagnahme der vier Goldbarren. Am 26. März 2012 erliess sie auch zu den Goldbarren eine Veranlagungsverfügung. Die danach geschuldete Einfuhrsteuer belief sich auf Fr. 7'743.50 (8,0 Prozent von Fr. 96'794.--). Ferner ordnete die Zollstelle die Aufhebung der Beschlagnahmeverfügung und eine Barhinterlage von Fr. 11'000.-- an, dies im Hinblick auf eine etwaige Busse. Aufgrund der Zollfreiheit (Tarifnummer 19) entfiel eine Zollabgabe. Die gegen die Veranlagungsverfügung vom 26. März 2012 gerichtete Beschwerde an die Zollkreisdirektion Schaffhausen blieb erfolglos (Beschwerdeentscheid vom 26. Juli 2012). In ihren Erwägungen hielt die Zollkreisdirektion fest, die vier Goldbarren genügten den Anforderungen der Mehrwertsteuerverordnung für eine Steuerbefreiung nicht, sodass die Einfuhrsteuer geschuldet bleibe. C. Am 23. August 2012 erhob X._ beim Bundesverwaltungsgericht Beschwerde gegen den Entscheid. Er machte geltend, Gold als anerkanntes Zahlungsmittel und Finanzinstrument sei von der Mehrwertsteuer befreit. Bei den eingeführten Goldbarren handle es sich um gestanzte Exemplare und damit um einfuhrsteuerbefreites Bankengold. Die entgegenstehenden Verordnungsbestimmungen erfüllten teils den Tatbestand der Willkür in der Rechtssetzung. Zudem habe die Vorinstanz das Recht willkürlich angewandt und stütze sie ihren Entscheid auf eine willkürliche Verwaltungspraxis. X._ untermauerte im weiteren Verlauf des Verfahrens seine Tatsachendarstellung mit einer Bestätigung der Bank of China Ltd. vom 28. September 2012. Ihr zufolge sollen die vier von ihr ausgegebenen Goldbarren von einem anerkannten Prüfer-Schmelzer gegossen worden sein. Das Bundesverwaltungsgericht, Abteilung I, wies die Beschwerde mit Urteil A-4407/2012 vom 1. Mai 2013 ab, soweit darauf einzutreten war. D. Mit Eingabe vom 4. Juni 2013 erhebt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, der Entscheid des Bundesverwaltungsgerichts vom 1. Mai 2013 sei aufzuheben und die Beschwerde vom 23. August 2012 an die Vorinstanz sei gutzuheissen. Die entrichtete Mehrwertsteuer von Fr. 7'743.50 sei ihm, nebst Zins von 5 Prozent seit dem 26. März 2012, unverzüglich zu erstatten. Während das Bundesverwaltungsgericht, Abteilung I, auf eine Vernehmlassung verzichtet, beantragt die Oberzolldirektion die Abweisung der Beschwerde. X._ (hiernach: der Steuerpflichtige) nimmt dazu abschliessend Stellung.