Sachverhalt:
A.
In den Jahren 2012 bis 2016 importierte A._ 14 Sendungen geprägten Goldes, wobei er jeweils die für Goldmünzen geltende Befreiung von der Einfuhrsteuer geltend machte. Die Zollstelle St. Margrethen stellte zunächst die entsprechenden Veranlagungsverfügungen aus, kam jedoch bei nachträglichen Kontrollen zum Schluss, dass in den Sendungen nicht nur Goldmünzen, sondern auch Goldabschläge, Goldmedaillen und Sonderprägungen enthalten seien. Am 6. März 2017 informierte die Zollkreisdirektion Schaffhausen A._ darüber, dass sie beabsichtige, für Einfuhren, für welche die Steuerbefreiung zu Unrecht geltend gemacht worden sei (21 Goldabschläge, 4 Medaillen, 2 Sonderprägungen und 37 Dukaten), Einfuhrsteuern im Betrag von Fr. 85'790.60 zuzüglich Verzugszins nachzufordern. Aufgrund der Eingabe des Steuerpflichtigen vom 27. April 2017 und eines von der Zollkreisdirektion in Auftrag gegebenen numismatischen Gutachtens klammerte die Zollkreisdirektion die Goldabschläge und die Sonderprägungen aus dem Nachforderungsverfahren aus und forderte mit Verfügung vom 20. September 2017 Einfuhrsteuer in der Höhe von Fr. 13'627.35 zuzüglich Verzugszins für die Einfuhr von 4 Medaillen und 37 Dukaten nach. Die hiergegen eingereichte Beschwerde des Steuerpflichtigen beschied die Oberzolldirektion mit Entscheid vom 26. Februar 2018 abschlägig.
B.
Die von A._ hiergegen erhobene Beschwerde hiess das Bundesverwaltungsgericht mit Entscheid vom 31. Dezember 2018 in dem Sinne teilweise gut, als es die Sache - soweit sie die Dukaten betrifft - zu neuem Entscheid an die Oberzolldirektion zurückwies. Im Übrigen - und damit insbesondere die Medaillen betreffend - wies es die Beschwerde ab.
C.
Mit Beschwerde beantragt A._, es sei unter teilweiser Aufhebung des vorinstanzlichen Entscheides festzustellen, dass die von ihm importierten Dukaten von der Einfuhrsteuer befreit sind.
Die Eidgenössische Zollverwaltung beantragt die Abweisung der Beschwerde.
In seiner Stellungnahme vom 19. März 2019 hält A._ an seinen Anträgen fest.

Erwägungen:
1.
1.1. Angefochten ist der Entscheid des Bundesverwaltungsgerichts nur insoweit, als er die vom Beschwerdeführer importierten Dukaten betrifft. Letztinstanzlich nicht mehr streitig ist demgegenüber, dass die importierten Medaillen der Einfuhrsteuer unterliegen.
1.2. Betreffend der Dukaten hat das Bundesverwaltungsgericht formell einen Rückweisungsentscheid getroffen. Da es jedoch in den Erwägungen für die untere Instanz verbindlich festgehalten hat, Dukaten, welche vor dem 25. Mai 1857 geprägt worden sind, seien von der Einfuhrsteuer befreit, während die ab diesem Stichtag geprägten Dukaten der Steuer unterliegen würden, verbleibt der unteren Instanz bei ihrem neuen Entscheid kein Entscheidungsspielraum mehr. Der Entscheid des Bundesverwaltungsgerichts ist damit auch soweit er die Dukaten betrifft, als Endentscheid im Sinne von Art. 90 BGG zu qualifizieren (vgl. <ref-ruling> E. 1.3 S. 127).
1.3. Gemäss Art. 83 lit. l BGG ist die Beschwerde unzulässig gegen Entscheide über die Zollveranlagung, wenn diese auf Grund der Tarifierung oder des Gewichts der Ware erfolgt. Rechtsprechungsgemäss entfällt die Beschwerde auch dann, wenn die Einreihung in den Zolltarif nicht zollrechtlichen, sondern anderen Zwecken dient (<ref-ruling> E. 2.1 S. 204; vgl. auch Urteil 2C_231/2010 vom 3. April 2011 E. 2.1).
Formell betrachtet behauptet der Beschwerdeführer unter anderem, die von ihm eingeführten Dukaten würden unter die Zolltarifnummern 7118.9010 oder 9705.0000 fallen. Rechtsprechungsgemäss bezieht sich der Ausschluss von Art. 83 lit. l BGG lediglich auf die rein technischen Aspekte der Tarifierung und der Gewichtsbemessungen. Zulässig ist demgemäss die Beschwerde, soweit darin reine Rechtsfragen geltend gemacht werden (vgl. Urteil 2C_591/2015 vom 5. Februar 2016 E. 1.1 mit weiteren Hinweisen). Dies trifft im vorliegenden Fall für die Frage zu, ob für eine Tarifierung in die genannten Zolltarifnummern vorausgesetzt ist, dass die Münzen jemals gesetzliche Zahlungsmittel waren.
1.4. Da auch die übrigen Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten gegeben sind (Art. 82 lit. a, Art. 86 Abs. 1 lit. a, Art. 89 Abs. 1 und Art. 100 Abs. 1 BGG), ist auf die Beschwerde einzutreten.
2.
2.1. Gemäss Art. 1 Abs. 1 MWSTG erhebt der Bund eine Mehrwertsteuer, d. h. eine allgemeine Verbrauchssteuer nach dem System der Netto-Allphasensteuer mit Vorsteuerabzug. Sie soll den Konsum der (End-) Verbraucher erfassen (<ref-ruling> E. 2.1 S. 253). Der Inlandsteuer (Art. 1 Abs. 2 lit. a, Art. 10 ff. MWSTG) unterliegen die im Inland durch steuerpflichtige Personen gegen Entgelt erbrachten Leistungen; sie sind steuerbar, soweit das Gesetz nichts anderes vorsieht (Art. 18 Abs. 1 MWSTG).
2.2. In Ergänzung zur Inlandsteuer und zur Bezugsteuer (Art. 1 Abs. 2 lit. b, Art. 45 ff. MWSTG) erhebt der Bund eine Steuer auf der Einfuhr von Gegenständen (Einfuhrsteuer; Art. 1 Abs. 2 lit. c, Art. 50 ff. MWSTG). Die steuerbefreiten Einfuhren finden sich hauptsächlich im Negativkatalog von Art. 53 MWSTG. Zum Münz- und Feingold besteht in Art. 107 Abs. 2 MWSTG eine Delegationsnorm, die den Bundesrat ermächtigt, vom Gesetz abweichende Bestimmungen zu erlassen.
2.3. Gemäss Art. 113 lit. g MWSTV sind Münz- und Feingold nach Art. 44 MWSTV von der Einfuhrsteuer befreit. Nach Art. 44 Abs. 1 lit. a MWSTV sind von der Steuer befreit die Umsätze von staatlich geprägten Goldmünzen der Zolltarifnummern 7118.9010 und 9705.0000.
Die Zolltarifnummer 7118.9010 beinhaltet "Münzen aus Gold oder Platin".
Die Zolltarifnummer 9705.0000 ist vorgesehen für "Sammlungen oder Sammlungsstücke, zoologische, botanische, mineralogische oder anatomische oder solche von historischem, archäologischem, paläontologischem, ethnografischem oder numismatischem Wert".
3.
3.1. Die Oberzolldirektion hat in ihrem Entscheid vom 26. Februar 2018 erwogen, die vom Beschwerdeführer eingeführten Dukaten würden, da sie nie gesetzliches Zahlungsmittel waren, nicht unter die Zolltarifnummer 7118.9010, sondern unter die Nummer 9705.0000 fallen. Da aber gemäss Art. 44 Abs. 1 lit. a MWSTV lediglich staatlich geprägte Goldmünzen steuerbefreit seien, würden sie - da sie nie gesetzliches Zahlungsmittel waren - trotzdem nicht steuerbefreit eingeführt werden können.
3.2. Das Bundesverwaltungsgericht stimmt der Oberzolldirektion zu, dass die Dukaten Sammlerstücke von numismatischem Wert sind (E. 3.1 und 4.3.5 des angefochtenen Entscheids). Es führt aus, unter die Zolltarifnummer 7118.9010 würden Münzen fallen, die gesetzliche Zahlungsmittel seien, auch wenn sie ausser Kurs gesetzt seien; dagegen würden Münzen, die den Charakter von Sammlungsstücken haben, zu Nr. 9705.0000 gehören (E. 2.4.2.1 des angefochtenen Entscheids). Gemäss den Erläuterungen zur Tarifnummer 9705.0000 gehörten hierher u.a. Geldmünzen, die nicht mehr als gesetzliche Zahlungsmittel gelten (E. 2.4.2.2). Wie Goldmünzen im Sinne der Zolltarifnummer 7118.9010 müssten somit auch Goldmünzen im Sinne der Nummer 9705.0000 irgendeinmal als gesetzliche Zahlungsmittel gedient haben müssen (E. 2.4.2.3), was sich aus verbindlichem Staatsvertragsrecht ergebe (E. 4.2.1). Die Dukaten seien somit im Sinne von Art. 44 Abs. 1 lit. a MWSTV nur von der Einfuhrsteuer befreit, wenn sie irgendeinmal als gesetzliche Zahlungsmittel gedient hätten (E. 4.3.1 und 4.3.5 des angefochtenen Entscheids). Sie seien bis zum Inkrafttreten des Wiener Münzvertrags vom 24. Januar 1857 am 25. Mai 1857 gesetzliche Zahlungsmittel gewesen, seither aber nicht mehr; die vor dem 25. Mai 1857 geprägten Münzen seien daher im Gegensatz zu den später geprägten von der Einfuhrsteuer befreit; es wies die Sache an die Oberzolldirektion zurück, damit es das Prägungsdatum der einzelnen Dukaten prüfe (E. 4.3.4 und 4.3.6).
3.3. Der Beschwerdeführer bestreitet das Erfordernis des gesetzlichen Zahlungsmittels. Es sei genügend, wenn die Dukaten staatlich geprägt worden seien und einmal eine Zahlungsfunktion gehabt hätten, was unbestritten der Fall sei.
3.4. Nach dem Gesagten ist an sich unstreitig, dass die streitbetroffenen Dukaten Sammelstücke von numismatischem Wert im Sinne der Zolltarifnummer 9705.0000 sind. Es kann somit offen bleiben, ob sie nicht auch unter die Tarifnummer 7118.9010 subsumiert werden könnten. Fest steht sodann, dass Art. 44 Abs. 1 lit. a MWSTV eine Steuerbefreiung nicht für die ganze Tarifnummer 9705.0000 gewährt, sondern nur für "staatlich geprägte Goldmünzen" ("les monnaies d'or émises par des Etats"; "monete d'oro coniate dagli Stati"). Dass die Dukaten staatlich geprägt sind, ist ebenfalls nicht umstritten. Streitig und zu prüfen ist demgegenüber, ob sich aus Zolltarifnummer 9705.0000 oder aus Art. 44 Abs. 1 lit. a MWSTV das Erfordernis ergibt, dass die Münzen im Zeitpunkt ihrer Prägung gesetzliches Zahlungsmittel waren.
3.4.1. Weder aus dem Wortlaut von Art. 44 Abs. 1 lit. a MWSTV noch aus demjenigen von Zolltarifnummer 9705.0000 ergibt sich ausdrücklich, dass die Münzen als gesetzliches Zahlungsmittel gedient haben müssen.
3.4.2. Es ist auch nicht ohne weiteres einzusehen, warum unter den Begriff des "Sammlungsstücks von numismatischem Wert" nur diejenigen Münzen fallen sollten, welche jemals gesetzliches Zahlungsmittel waren. Die Numismatik befasst sich mit allen Arten von Münzen und anderen Geldformen. Es ist notorisch, dass es auch Objekte gibt, die zwar nicht gesetzliche Zahlungsmittel sind, aber dennoch Zahlungsfunktion haben können, indem einige oder alle Gläubiger sie als Zahlungsmittel generell oder für bestimmte Zwecke freiwillig akzeptieren. Zudem wurden teilweise auch von staatlicher Seite Münzen geprägt, deren Umlaufgebiet weit über das Emmissionsland hinausreichte (sog. "Handelsmünzen").
3.4.3. Entgegen den vorinstanzlichen Erwägungen ergibt sich das Erfordernis, dass die Münzen "gesetzliches Zahlungsmittel" gewesen sein müssen, um unter die Tarifnummer 9705.0000 zu fallen, nicht aus den Erläuterungen (den sog. "Notes explicatives du Système Harmonisé") zu dieser Tarifnummer. Dort wird auf den Charakter als gesetzliches Zahlungsmittel lediglich für Banknoten Bezug genommen und auch bei diesen nur als Hinweis darauf, dass Banknoten, welche weiterhin als gesetzliche Zahlungsmittel gelten, zur Tarifnummer 4907 gehören. Fehlgeht damit der Hinweis des Bundesverwaltungsgerichts, das Erfordernis ergebe sich aus Staatsvertragsrecht (mithin aus der aus dem Internationalen Übereinkommen über das Harmonisierte System zur Bezeichnung und Codierung der Waren vom 14. Juni 1983 [SR 0.632.11] fliessenden Verpflichtung zur Beachtung dieser "Notes explicatives"). Soweit die Vorinstanz im Weiteren ihre Auffassung durch Hinweis auf eine Literaturstelle (BEATRICE BLUM, in: Zweifel et al. [Hrsg.], Kommentar zum Schweizerischen Steuerrecht, MWSTG, N. 71 zu Art. 107 MWSTG) zu stützen versucht, ist festzuhalten, dass sich die dortige Passage "gesetzliche Zahlungsmittel" auf die Zolltarifnummer 7118.9010 bezieht. In Bezug auf die Zolltarifnummer 9705.0000 erwähnt sie nur, die dort genannten Sammlungsstücke müssten "irgendeinmal als Zahlungsmittel gedient haben".
3.4.4. Die Eidg. Zollverwaltung führt in ihrer Vernehmlassung vor Bundesgericht aus, in Bezug auf die Zolltarifnummer 7118.9010 sei der Auffassung des Bundesverwaltungsgerichts zuzustimmen; es sei nicht einsichtig, weshalb nicht gesetzliche Zahlungsmittel von der Steuerbefreiung profitieren sollen (Vernehmlassung vom 5. März 2019 Rz. 12). Auch in Bezug auf die Zolltarifnummer 9705.0000 sei das Erfordernis des gesetzlichen Zahlungsmittels zu bejahen. Die Auffassung des Beschwerdeführers, es genüge, dass die Dukaten Zahlungsfunktion hatten, überzeuge "aus den in Rz. 12 oben genannten Gründen nicht" (a.a.o., Rz. 13). Da sich aber die in Rz. 12 genannten Gründe auf die Zolltarifnummer 7118.9010 beziehen, kann der blosse Verweis auf diese Ausführungen nicht begründen, weshalb das Erfordernis des gesetzlichen Zahlungsmittels auch für die Nummer 9705.0000 gelten soll.
3.4.5. Insgesamt liefern somit weder das Bundesverwaltungsgericht noch die Eidg. Zollverwaltung eine überzeugende Begründung für ihre Auffassung.
3.4.6. Soweit die Vorinstanz allenfalls das Erfordernis des gesetzlichen Zahlungsmittels aus dem Wortsinn "Münzen" (monnaies, monete) in Art. 44 Abs. 1 lit. a MWSTV ableiten sollte, so ist auch dieser Schluss nach dem Wortlaut nicht zwingend (vgl. oben E. 3.4.2). In systematischer Hinsicht ist festzuhalten, dass Art. 44 Abs. 1 lit. a MWSTV ausdrücklich die Goldmünzen der Tarifnummern 7118.9010 und 9705.0000 von der Steuer befreit. Es ist aber nicht ersichtlich, dass es staatlich als gesetzliche Zahlungsmittel geprägte Goldmünzen geben könnte, welche nicht unter die Zolltarifnummer 7118.9010 fallen würden. Würde man somit Art. 44 Abs. 1 lit. a MWSTV gemäss der Interpretation der Beschwerdegegnerin auslegen, so wäre der Hinweis auf die Zolltarifnummer 9705.0000 in dieser Verordnungsbestimmung überflüssig.
3.4.7. Weiter ist der Begriff der gesetzlichen Zahlungsmittel gemäss der vorinstanzlichen Definition ein relativ moderner Begriff. Eine gesetzliche Verpflichtung der Gläubiger zur Annahme gewisser Geldzeichen - wie dies vom Bundesverwaltungsgericht für die Annahme eines gesetzlichen Zahlungsmittels vorausgesetzt wird - wurde erst dann notwendig, als der Münzwert nicht mehr durch den inneren Wert des Münzmetalls gedeckt war. Goldmünzen von numismatischem Wert gemäss der Zolltarifnummer 9705.0000 können demgegenüber sehr alt sein. Es wäre schwierig bis unmöglich, jedenfalls aber historisch wenig seriös, bei antiken oder mittelalterlichen Münzen zwischen solchen, die gesetzliche Zahlungsmittel im heutigen Wortsinne waren, und anderen zu unterscheiden. Dies spricht ebenfalls dagegen, für die Frage der Steuerbefreiung an einen Umstand anzuknüpfen, welcher in vielen Fällen keiner seriösen Überprüfung zugänglich ist.
3.4.8. Es ist somit davon auszugehen, dass unter den Begriff der "staatlich geprägten Goldmünzen" im Sinne von Art. 44 Abs. 1 lit. a MWSTV ein staatlich durch Prägung in Gewicht und Gehalt garantiertes Stück Gold fällt, welches für den Zahlungsverkehr bestimmt war. Nicht von Bedeutung ist demgegenüber, ob es jemals zum gesetzlichen Zahlungsmittel erklärt wurde.
3.5. Es ist unbestritten, dass es sich bei den vom Beschwerdeführer eingeführten Dukaten um Goldmünzen handelt, die im Kaisertum Österreich bzw. in den im Reichsrat vertretenen Königreichen und Ländern staatlich geprägt wurden. Ebenfalls steht fest, dass diese Münzen jedenfalls für den Zahlungsverkehr mit dem Ausland bestimmt waren. Ob die Dukaten zur Zeit ihrer Prägung in Österreich bzw. in der österreichischen Reichshälfte gesetzliches Zahlungsmittel waren, ist dagegen für die Frage ihrer Besteuerung nicht erheblich. Entsprechend ist die Beschwerde gutzuheissen und der Entscheid des Bundesverwaltungsgericht ist, soweit er die Dukaten betrifft, aufzuheben mit der Feststellung, dass die vom Beschwerdeführer zwischen 2012 und 2016 eingeführten Dukaten nach Art. 113 lit. g i.V.m. Art. 44 Abs. 1 lit. a MWSTV von der Einfuhrsteuer befreit waren.
4.
Da die Eidg. Zollverwaltung in dieser Angelegenheit in ihrer Vermögenssituation betroffen ist (vgl. Urteil 2C_769/2018 vom 11. Januar 2019 E. 3.1), sind ihr die Gerichtskosten aufzuerlegen (Art. 66 Abs. 4 BGG). Sie hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 2 BGG). Die Sache ist zur Regelung der Kosten- und Entschädigungsfolgen des vorangegangenen Verfahrens an die Vorinstanz zurückzuweisen (Art. 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Bundesverwaltungsgerichts vom 31. Dezember 2018 wird, soweit er die Einfuhr der Dukaten betrifft, aufgehoben. Es wird festgestellt, dass die vom Beschwerdeführer zwischen 2012 und 2016 eingeführten Dukatenstücke von der Einfuhrsteuer befreit sind.
2.
Die Gerichtskosten von Fr. 2'000.- werden der Eidg. Zollverwaltung auferlegt.
3.
Die Eidg. Zollverwaltung hat dem Beschwerdeführer eine Parteientschädigung von Fr. 2'500.- zu bezahlen.
4.
Die Sache wird zur Regelung der Kosten- und Entschädigungsfolgen der vorangegangenen Verfahren an das Bundesverwaltungsgericht zurückgewiesen.
5.
Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 23. Juli 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Nabold