Sachverhalt: A. A.a Ende März 2012 meldete ein Spediteur am Grenzübergang Chiasso/TI eine grössere Menge des Bilderrahmens vom Typ "[...]" zur Einfuhr in die Schweiz an. Der Lieferung, bestimmt für den X._, gehörten namentlich rund 5'000 Exemplare in vier verschiedenen, bereits verkaufsfertig verpackten und mit dem Endverkaufspreis versehenen Formaten an. Das jedem Exemplar beigegebene Einlageblatt trug u. a. den Wortlaut: "Bilderrahmen, silber, Aluminium, reflexfreies Glas - Cadres à photos, argenté, aluminium, verre antireflets - Cornice, argento, alluminio, vetro antiriflesso". A.b Die Eidgenössische Zollverwaltung, handelnd durch das Edelmetallkontrollamt Chiasso, beanstandete die Sendung mit Blick auf das Beipackblatt. Am 29. März 2012 ordnete sie die Rückweisung der Sendung an bzw. verlangte, der bemängelte Wortlaut des Einlageblattes sei unter zutreffender Beschreibung zu überkleben. Der X._ bestritt diese Weisung und verlangte eine beschwerdefähige Verfügung. A.c Mit Verfügung vom 19. April 2012 hielt die Eidgenössische Zollverwaltung, Zentralamt für Edelmetallkontrolle, fest, die 5'000 Bilderrahmen könnten "mit den erwähnten Bezeichnungen nicht in die Schweiz eingeführt werden" (Ziff. 1). Alle beanstandeten Angaben seien durch solche, die dem Edelmetallkontrollgesetz entsprächen, zu ersetzen (Ziff. 2). Alle schon mit der gleichen Beanstandung im Lager und Verkauf befindlichen Bilderrahmen seien den Bestimmungen des Edelmetallkontrollgesetzes anzupassen (Ziff. 3). Allfällige Einlagerungsgebühren des Bilderrahmens gingen zu Lasten des X._es (Ziff. 5). Zur Begründung führte das Zentralamt für Edelmetallkontrolle aus, die Bilderrahmen [als solche] entsprächen zwar dem Edelmetallkontrollgesetz. So bestehe die Umrahmung der Bilderrahmen zweifelsfrei aus Aluminium und weise die Oberfläche keine zusätzliche Veredelung auf. Die dem Rahmen beigefügten Einlageblätter trügen aber unzulässige Angaben ("silber", "argenté", "argento"). B. Die gegen die Verfügung gerichtete Beschwerde vom 15. Mai 2012 wies das Bundesverwaltungsgericht mit Urteil B-2659/2012 vom 3. September 2012 ab. C. Mit Eingabe vom 8. Oktober 2012 erhebt der X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, das angefochtene Urteil sei aufzuheben. Während die Vorinstanz auf eine Vernehmlassung verzichtet, nimmt die Eidgenössische Zollverwaltung, handelnd durch die Oberzolldirektion, Stellung und schliesst auf Abweisung der Beschwerde. Dies veranlasst den X._ zur Einreichung abschliessender Bemerkungen.