Sachverhalt: Sachverhalt: A. Am 4. April 2001 wurde Y._ bei der Einreise von Österreich in die Schweiz beim Zollamt Kriessern/SG einer Zollkontrolle unterzogen. Diese ergab, dass er 37 kg Schweinefleisch mitführte, die er nicht zur Verzollung angemeldet hatte. Wie sich in der gegen ihn angehobenen Untersuchung herausstellte, hatte Y._ seit mehreren Jahren ohne Zollanmeldung Schweinefleisch aus Österreich in die Schweiz eingeführt. Dieses verkaufte er jeweils an verschiedene Restaurants, darunter regelmässig auch das Restaurant A._ in B._. Dessen Eigentümer und Betreiber, X._, bezog in den Jahren von 1996 bis 2001 von Y._ insgesamt 2'844 kg Schweinefleisch. Am 30. August 2001 stellte die Zollkreisdirektion Schaffhausen gegen X._ ein Schlussprotokoll aus. Mit diesem wurde ihm zur Last gelegt, gegen das Zollgesetz, das Tierseuchengesetz sowie das Mehrwertsteuerrecht verstossen zu haben. Gleichzeitig erliess sie eine Verfügung, mit welcher sie X._ in solidarischer Leistungspflicht mit Y._ für Abgaben in der Höhe von insgesamt Fr. 74'039.10 (Zoll: Fr. 71'582.80; Mehrwertsteuer: Fr. 2'456.30) leistungspflichtig erklärte. Dieser Betrag entspricht den auf dem von Y._ bezogenen Fleisch lastenden Abgaben. Mit Entscheid vom 6. Januar 2003 wies die Oberzolldirektion die von X._ am 1. Oktober 2001 gegen seine Leistungsverpflichtung erhobene Beschwerde ab. Dagegen wandte sich X._ an die Eidgenössische Zollrekurskommission, welche seine Beschwerde am 12. November 2003 abwies. Dagegen wandte sich X._ an die Eidgenössische Zollrekurskommission, welche seine Beschwerde am 12. November 2003 abwies. B. Mit Verwaltungsgerichtsbeschwerde vom 15. Dezember 2003 beantragt X._ dem Bundesgericht im Hauptantrag, den Entscheid der Eidgenössischen Zollrekurskommission aufzuheben. Die Oberzolldirektion beantragt, die Verwaltungsgerichtsbeschwerde abzuweisen. Die Eidgenössische Zollrekurskommission hat auf eine Vernehmlassung verzichtet.