Erwägungen:
1.
1.1. Gegenüber A._ eröffnete die Zollkreisdirektion Schaffhausen eine Strafuntersuchung wegen Verdachts auf Verstösse gegen die Zoll- und Mehrwertsteuergesetzgebung bei der Einfuhr von fünf Pferden zwischen 2010 und 2015. Am 19. Oktober 2016 erliess die Behörde eine Nachforderungsverfügung (inkl. Vezugszins) über den Gesamtbetrag von Fr. 74'454.45.
1.2. Nach erfolgloser Beschwerde an die Oberzolldirektion gelangte A._ an das Bundesverwaltungsgericht. Dieses hat sein Rechtsmittel teilweise gutgeheissen und die Nachforderung (Zollabgaben und Einfuhrsteuern) auf insgesamt Fr. 40'007.05 (zuzüglich Verzugszins) reduziert; im Übrigen hat es die Beschwerde abgewiesen.
1.3. Am 31. Mai 2019 hat A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Er stellt den Antrag, das Urteil des Bundesverwaltungsgerichts vom 18. April 2019 aufzuheben; von einer Abgabennachforderung sei abzusehen. Eventuell sei die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen.
1.4. Es sind zwar die Akten des vorinstanzlichen Verfahrens beigezogen, nicht aber behördliche Vernehmlassungen eingeholt worden, da die Angelegenheit im vereinfachten Verfahren gemäss Art. 109 BGG zu beurteilen ist.
2.
2.1. Die frist- (Art. 100 Abs. 1 BGG) und formgerecht (Art. 42 BGG) eingereichte Eingabe betrifft eine Angelegenheit des öffentlichen Rechts (Art. 82 lit. a BGG) und richtet sich gegen ein verfahrensabschliessendes (Art. 90 BGG) Urteil des Bundesverwaltungsgerichts (Art. 86 Abs. 1 lit. a BGG).
2.2. Das Bundesgericht prüft das Bundesrecht von Amtes wegen (Art. 106 Abs. 1 BGG) und mit freier Kognition (Art. 95 lit. a BGG). Der von der Vorinstanz festgestellte Sachverhalt kann nur erfolgreich gerügt, berichtigt oder ergänzt werden, wenn er offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; Art. 105 Abs. 2 BGG). Rügt die beschwerdeführende Partei eine offensichtlich unrichtige Sachverhaltsfeststellung, haben ihre Vorbringen den Anforderungen von Art. 106 Abs. 2 BGG zu genügen.
3.
Das Bundesverwaltungsgericht hat die massgeblichen Rechtsvorschriften umfassend wiedergegeben und zutreffend angewandt, wie auch die sich darauf beziehende Rechtsprechung (vgl. E. 2.1 - 2.5.3; E. 4.1 - 4.3 des angefochtenen Urteils). In Bezug auf die Zollabgaben hat es festgehalten, dass die für eines der fünf Pferde nachbelastete Abgabe schon im vorinstanzlichen Verfahren nicht mehr strittig war (vgl. E. 5.1 ebenda). Wegen unrechtmässiger Inanspruchnahme des Verfahrens für eine vorübergehende Verwendung (statt demjenigen für eine endgültige Einfuhr) hat das Gericht sodann eine Abgaben-Nachforderung als gerechtfertigt erachtet (vgl. E. 6 dort), die vor Bundesgericht nicht mehr bestritten wird. Es erübrigt sich somit, auf diese Punkte weiter einzugehen.
4.
Angefochten wird die Beurteilung des Bundesverwaltungsgerichts jedoch insoweit, als sie die nachgeforderte Einfuhrsteuer für die fünf Pferde zum Gegenstand hat. Dafür hat die Vorinstanz sich insbesondere auf Art. 54 Abs. 4 des Bundesgesetzes vom 12. Juni 2009 über die Mehrwertsteuer (MWSTG; SR 641.20) gestützt. Gemäss dieser Bestimmung kann die Eidgenössische Zollverwaltung die Steuerbemessungsgrundlage nach pflichtgemässem Ermessen schätzen, wenn Zweifel an der Richtigkeit der Zollanmeldung bestehen oder Wertangaben fehlen.
4.1. In Anwendung von Art. 54 Abs. 4 MWSTG schätzte die zuständige Zollkreisdirektion für die fünf Pferde in jedem einzelnen Fall ermessensweise einen beträchtlich höheren Verkehrswert und forderte entsprechende Einfuhrsteuern im Gesamtbetrag von Fr. 54'291.05 nach. Das Bundesverwaltungsgericht hat diese Schätzungen nach eingehender und sorgfältiger Überprüfung in drei von fünf Fällen vollumfänglich bestätigt, in den beiden restlichen Fällen korrigiert und die erhobenen Steuer-Nachforderungen entsprechend auf insgesamt Fr. 24'671.05 reduziert (vgl. oben E. 1.2).
4.2. Die Vorinstanz hat geurteilt, dass es in allen Fällen gerechtfertigt war, Ermessensschätzungen vorzunehmen.
4.2.1. Sie hat festgehalten, dass im Fall von drei Einfuhren jegliche Zollanmeldung unterblieben war und bei zwei Pferden das für den Beschwerdeführer günstigere Zollverfahren der vorübergehenden Verwendung unrechtmässig in Anspruch genommen wurde. Aufgrund der verfügbaren Indizien hatten die Behörden Anlass, eine Strafuntersuchung wegen des Verdachts auf Verstösse gegen die Zoll- sowie die Mehrwertsteuergesetzgebung zu eröffnen und im Rahmen dieser Untersuchung beim Beschwerdeführer eine Hausdurchsuchung vorzunehmen. Diese Durchsuchung förderte unbestrittenermassen ein Kassabuch (sog. blaues Buch) zutage, in das der Beschwerdeführer für sämtliche Pferde präzise und verbindliche handschriftliche Notizen eingetragen hatte. Gestützt darauf durften die Behörden teilweise deutlich höhere Verkehrswerte annehmen, wie die Vorinstanz für das Bundesgericht verbindlich festgestellt und bundesrechtskonform geurteilt hat.
4.2.2. Gegen die Berechtigung der Ermessensschätzung wendet der Beschwerdeführer nichts wirklich Stichhaltiges ein. Er argumentiert im Wesentlichen, es könne nicht sein, dass das besagte Kassabuch sowohl die Ursache als auch die Grundlage für die vorgenommene Ermessensschätzung dargestellt habe.
Eine solche Argumentation verkennt zuerst einmal, was zur Hausdurchsuchung geführt hat, im Rahmen derer das Kassabuch überhaupt erst zutage gefördert wurde. Der Beschwerdeführer bringt nichts gegen die Berechtigung oder die Ursachen dieser Durchsuchung vor. Fehl geht weiter seine Behauptung, er habe sich gegenüber den Zollbehörden jederzeit transparent verhalten und in allen Verfahrensphasen die von ihm geforderten Informationen mitgeteilt. Dem steht entgegen, dass er bei drei Einfuhren keinerlei Angaben machte, in Bezug auf zwei Tiere das falsche (und für ihn günstigere) Zollverfahren gewählt hatte und insgesamt den Behörden genügenden Anlass bot, eine Strafuntersuchung zu eröffnen und in diesem Rahmen eine Hausdurchsuchung vorzunehmen.
4.3. Weiter hat die Vorinstanz die von der Zollkreisdirektion vorgenommene und von der Oberzolldirektion vollumfänglich bestätigte Ermessensschätzung mit eingehender Begründung (vgl. S. 23 - 38 des angefochtenen Urteils) sorgfältig überprüft, um Pferd für Pferd zu differenzierten und spezifischen Einzelergebnissen zu gelangen. Die Beurteilung des Bundesverwaltungsgerichts kann ohne weiteres bestätigt werden, unter vollumfänglicher Verweisung auf seine Begründung.
4.3.1. Dagegen müsste der Beschwerdeführer zuerst einmal dartun können, dass die Sachverhaltsermittlung der Vorinstanz (bzw. die den von ihr präzise überprüften Ermessensschätzungen zugrunde liegenden Faktenfeststellungen) geradezu offensichtlich unzutreffend wären (vgl. oben E. 2.2). Das gelingt ihm jedoch nicht einmal ansatzweise. Ebenso wenig vermag er geltend zu machen, dass das Bundesverwaltungsgericht aus seinen Feststellungen und Schätzungen rechtliche Schlüsse gezogen hätte, die gegen Bundesrecht verstossen würden.
4.3.2. Sorgfältig und überzeugend hat die Vorinstanz sich auch mit den Angaben des Beschwerdeführers in dessen Kassabuch auseinandergesetzt. Als gänzlich ungenügend (vgl. oben E. 2.2) und inhaltlich in keiner Weise stichhaltig erweist sich die pauschale Einwendung des Beschwerdeführers, seine Aufzeichnungen im Kassabuch seien - gelinde gesagt - nur wirre Gedankenspielereien gewesen und als solche klar erkenntlich ohne jede Verbindlichkeit (vgl. dazu eingehend und überzeugend E. 7.2.2 des angefochtenen Entscheids).
Die Vorinstanz hat sich mit den verschiedenen Angaben eingehend befasst und sie für jedes der fünf Pferde auf zutreffend unterschiedliche Weise verwertet. Es ist nicht ersichtlich und keineswegs dargetan, dass die vorinstanzliche Sachverhaltsermittlung (bzw. die betragliche Ermessensschätzung) als geradezu willkürlich oder der daraus gezogene rechtliche Schluss als bundesrechtswidrig zu beurteilen wäre.
4.3.3. Ebenso wenig kann dem Beschwerdeführer gefolgt werden, wenn er einwendet, anstelle seines Kassabuches hätten die Behörden bei allfälligen Unsicherheiten betreffend den Wert der Pferde auf Experten-Schätzungen abstellen und dabei auch die von ihm eingereichten tierärztlichen Bescheinigungen berücksichtigen müssen. Aus diesen Bescheinigungen würde sich für drei Pferde aufgrund teilweise schwerwiegender gesundheitlicher Beeinträchtigungen ein jeweils deutlich geringerer Verkehrswert ergeben, so dass die entsprechenden Nachforderungen nicht gerechtfertigt seien.
Nun hat sich die Vorinstanz aber entgegen den vorgebrachten Einwendungen auch mit den eingereichten tierärztlichen Zeugnissen sorgfältig und Pferd für Pferd differenziert auseinander gesetzt (vgl. E. 7.4 S. 35 - 38 des angefochtenen Entscheids). Nicht ersichtlich und in keiner Weise dargetan ist, dass diese Beweiswürdigung geradezu offensichtlich unzutreffend wäre und sich die daraus abgeleiteten rechtlichen Schlüsse als bundesrechtswidrig erweisen würden.
5.
Nach dem Gesagten ist die Beschwerde im vereinfachten Verfahren gemäss Art. 109 BGG abzuweisen und wird der Beschwerdeführer kostenpflichtig (Art. 65 f. BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Zollkreisdirektion Schaffhausen, der Oberzolldirektion (OZD) und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 9. September 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Zünd
Der Gerichtsschreiber: Matter