Abgaben auf Tierbeständen, hat sich ergeben:
A.- A._ ist Inhaber einer Käserei in C._ und Bewirtschafter eines Schweinemast- und Schweinezuchtbetriebes.
Für diesen Betrieb erteilte ihm das Bundesamt für Landwirtschaft (im Folgenden: Bundesamt) am 14. April 1998 eine Ausnahmebewilligung für maximal 1'720 Mastschweine oder Jager (ab 30 kg) und 36 Zuchtsauen sowie 18 Jungsauen oder Remonten, gehalten in den Produktionsstätten KG B._ (650 Mastschweine), KG D._ (360 Mastschweine), C._ (460 Mastschweine), E._ (250 Mastschweine) und F._ (36 Zuchtsauen und Remonten). Die Bewilligung wurde erteilt für die Dauer vom 1. Januar 1997 bis 31. Dezember 2001. In der Ausnahmebewilligung wird im Weiteren festgehalten, dass der Bewilligungsinhaber an folgenden Betrieben beteiligt ist: Q._ AG in B._ (Zuchtbetrieb mit 75 Zuchtsauen und 500 Mastschweineplätzen), H._ AG in I._ (Schweinemastbetrieb mit 620 Mastschweineplätzen) und K._ AG in I._ (Kälbermastbetrieb mit 200 Mastkälberplätzen).
Anlässlich einer Betriebsbesichtigung vom 4. März 1999 stellte das Bundesamt fest, dass im Stall "L._" in M._ den A._ gepachtet hat, 135 Zuchtsauen und vier Eber gehalten wurden.
B.- Mit Verfügung vom 31. August 1999 auferlegte das Bundesamt A._ für das Jahr 1999 eine Abgabe von Fr. 67'500.--, d.h. Fr. 500.-- pro Mutterschwein. In der Begründung wird ausgeführt, es handle sich beim Zuchtschweinebestand im Betrieb L._ um einen nicht bewilligten Tierbestand, da diese Produktionsstätte nicht in der Ausnahmebewilligung von 14. April 1998 eingeschlossen sei. Dagegen erhob A._ Verwaltungsbeschwerde bei der Rekurskommission EVD (im Folgenden: Rekurskommission). Die Rekurskommission wies die Beschwerde mit Entscheid vom 29. Dezember 2000 ab.
C.- Dagegen hat A._ mit Eingabe vom 31. Januar 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben.
Er beantragt, den Entscheid der Rekurskommission vom 29. Dezember 2000 und die Verfügung des Bundesamtes für Landwirtschaft vom 31. August 1999 aufzuheben.
Das Bundesamt für Landwirtschaft hat seine Vernehmlassung verspätet eingereicht. Die Rekurskommission EVD hat auf eine Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- a) Gegenstand des vorliegenden Verfahrens bildet der gestützt auf das eidgenössische Landwirtschaftsrecht ergangene Beschwerdeentscheid der Rekurskommission EVD. Dieser ist beim Bundesgericht mit Verwaltungsgerichtsbeschwerde anfechtbar (vgl. Art. 97 Abs. 1 und Art. 98 lit. e OG in Verbindung mit Art. 5 VwVG). Auf die frist- und formgerecht eingereichte Eingabe des nach Art. 103 lit. a OG legitimierten Beschwerdeführers ist demnach einzutreten.
b) Mit der Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt werden (Art. 104 lit. a und b OG). An die Feststellung des Sachverhalts ist das Bundesgericht jedoch gebunden, wenn - wie im vorliegenden Fall - eine richterliche Behörde als Vorinstanz entschieden hat, sofern der Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften ermittelt worden ist (Art. 105 Abs. 2 OG). Das Bundesgericht wendet das Bundesrecht bei der Verwaltungsgerichtsbeschwerde von Amtes wegen an, ohne an die Begründung der Parteibegehren gebunden zu sein (Art. 114 Abs. 1 in fine OG). Es kann die Beschwerde daher auch aus andern als den geltend gemachten Gründen gutheissen oder den Entscheid mit einer Begründung bestätigen, die von jener der Vorinstanz abweicht (<ref-ruling> E. 1b S. 477, 117 Ib 114 E. 4a S. 117, mit Hinweis).
2.- a) Nach Art. 19a lit. a des Bundesgesetzes vom 3. Oktober 1951 über die Förderung der Landwirtschaft und die Erhaltung des Bauernstandes (altes Landwirtschaftsgesetz, aLWG, AS 1953 1073, 1979 2058, 1988 640) konnte der Bundesrat zur Lenkung der Fleisch- und Eierproduktion eine Höchstzahl für die verschiedenen Nutztierarten festsetzen und von Betriebsinhabern, die mehr Tiere halten, Abgaben erheben.
Gestützt auf diese gesetzliche Bestimmung hatte der Bundesrat einen Höchstbestand von 150 Mutterschweinen (die mindestens einmal geferkelt haben) pro Betrieb oder 1000 Mastschweinen festgelegt (Art. 3 lit. d und g der Verordnung vom 13. April 1988 über die Höchstbestände in der Fleisch- und Eierproduktion, Höchstbestandesverordnung, AS 1988 670).
Der Bundesrat konnte Ausnahmen vorsehen für Betriebe, die Nebenprodukte aus der örtlichen oder regionalen Milchverarbeitung über die Schweinemast verwerteten, wenn diese Produkte im eigenen Betrieb anfielen und von bäuerlichen Betrieben der Region nicht übernommen werden konnten (Art. 19b Abs. 3 lit. b aLWG). Schweinemastbetriebe, die Nebenprodukte aus der Milchverarbeitung verwerteten, erhielten eine Ausnahmebewilligung, wenn diese Nebenprodukte nicht zu ortsüblichen Preisen von bäuerlichen Betrieben der Region für die Fütterung der eigenen Tiere übernommen werden konnten und die Milchverarbeitungsanlage und der Schweinemastbetrieb organisatorisch eine Einheit bildeten. Mit den eingesetzten Nebenprodukten mussten mindestens 30 Prozent des Energiebedarfs der eigenen Mastschweine gedeckt werden (Art. 8 der Höchstbestandesverordnung vom 13. April 1988).
b) Am 1. Januar 1999 ist das Bundesgesetz vom 29. April 1998 über die Landwirtschaft (Landwirtschaftsgesetz, LwG; SR 910. 1) in Kraft getreten. Gemäss Art. 46 Abs. 1 LwG kann der Bundesrat für die einzelnen Nutztierarten Höchstbestände je Betrieb festsetzen. Der Bundesrat kann unter anderem Ausnahmen vorsehen für Betriebe, die eine im öffentlichen Interesse liegende Entsorgungsaufgabe von regionaler Bedeutung erfüllen, indem sie Nebenprodukte von Metzgerei- und Schlachtbetrieben sowie von Milch- und Lebensmittelverarbeitungsbetrieben an Schweine verfüttern (Art. 46 Abs. 3 lit. b LwG). Bewirtschafter von Betrieben, welche den Höchstbestand von Art. 46 LwG überschreiten, müssen eine jährliche Abgabe entrichten (Art. 47 Abs. 1 LwG); der Bundesrat setzt die Abgabe so fest, dass die Haltung überzähliger Tiere unwirtschaftlich ist (Art. 47 Abs. 2 LwG). Gestützt auf diese gesetzlichen Bestimmungen hat der Bundesrat die Verordnung vom 7. Dezember 1998 über Höchstbestände in der Fleisch- und Eierproduktion (Höchstbestandesverordnung, HBV; SR 916. 344) erlassen. Gemäss Art. 12 HBV erhebt das Bundesamt eine Abgabe, wenn mehr Tiere gehalten werden, als dies dem höchstzulässigen Gesamtbestand entspricht, mit einer Ausnahmebewilligung festgelegt worden ist oder nach einem Abbau der Tierbestände auf Grund einer Stillegungsaktion vom Bundesamt verfügt worden ist. Die Abgabe richtet sich nach dem Tierbestand am Tag der Kontrolle (Art. 13 Abs. 2 HBV). Die jährlich zu entrichtenden Abgaben betragen je zu viel gehaltenes Mutterschwein Fr. 500.-- (Art. 13 Abs. 1 lit. aHBV).
3.- Der Beschwerdeführer macht unter anderem geltend, er sei nicht als Bewirtschafter des Betriebes L._ anzusehen, da er den Betrieb per 1. Januar 1999 an O._ unterverpachtet habe, welchem auch die in der Verfügung des Bundesamts erwähnten 135 Zuchtsauen und vier Eber gehörten.
a) Für den Begriff "Bewirtschafter" ist auf die Verordnung vom 7. Dezember 1998 über landwirtschaftliche Begriffe und die Anerkennung von Betriebsformen (Landwirtschaftliche Begriffsverordnung, LBV; SR 910. 91) abzustellen.
Gemäss Art. 1 Abs. 1 LBV gelten die in dieser Verordnung umschriebenen Begriffe für das Landwirtschaftsgesetz und die gestützt darauf erlassenen Verordnungen. Demnach gilt als Bewirtschafter die natürliche oder juristische Person oder die Personengesellschaft, die einen Betrieb auf eigene Rechnung oder Gefahr führt (Art. 2 Abs. 1 LBV). Führt ein Bewirtschafter mehrere Produktionsstätten, so gelten diese zusammen als ein Betrieb (Art. 2 Abs. 2LBV).
b) Unbestritten war im Verfahren vor der Rekurskommission, dass am Tag der Betriebsbesichtigung im Stall L._ 135 Zuchtschweine und vier Eber eingestallt waren und dass der Beschwerdeführer diesen Schweinezuchtstall seit dem 1. Januar 1998 gepachtet hatte. Er hat nach eigenen Angaben mit dem Eigentümer, N._, einen zehnjährigen Pachtvertrag abgeschlossen. Hingegen hatte der Beschwerdeführer schon im Verfahren vor der Rekurskommission geltend gemacht, er sei nicht Bewirtschafter der Produktionsstätte L._ und auch nicht Eigentümer der dort eingestallten Schweine; vielmehr habe er per 1. Januar 1999 den Schweinezuchtstall L._ an O._ unterverpachtet und ihm auf diesen Zeitpunkt hin auch die Zuchtschweine, Eber und Ferkel verkauft. Seither betreibe dieser den Schweinezuchtbetrieb L._ auf eigene Rechnung.
Der Beschwerdeführer legte einen am 31. Dezember 1998 mit O._ auf eine feste Dauer von fünf Jahren abgeschlossenen Pachtvertrag ins Recht, gemäss welchem er O._ den Schweinestall L._ zum Preis von Fr. 24'000.-- pro Jahr überlässt; er reichte weiter einen vom 31. Dezember 1998 datierten Kaufvertrag ein, gemäss welchem er O._ das "Tier-Inventar" und das "Futter-Inventar" im Stall L._ zu einem Betrag von Fr. 122'405.-- verkauft hat.
c) Die Rekurskommission ist zum Schluss gelangt, dass der Beschwerdeführer - trotz dem von ihm ins Recht gelangten Pachtvertrag mit O._ sowie dem entsprechenden Kaufvertrag - am Tage der Betriebskontrolle Eigentümer des im Stall L._ eingestallten Tierbestandes war und damit als Bewirtschafter gilt und für den nicht bewilligten Tierbestand abgabepflichtig ist. Damit hat die Rekurskommission den Pachtvertrag und den Kaufvertrag mit O._ - auch wenn sie das nicht explizit so formuliert hat - im Ergebnis als simuliert (vgl. Art. 18 Abs. 1 OR) betrachtet.
Die Rekurskommission hat somit eine tatsächliche Feststellung über den inneren Willen der Vertragsparteien getroffen (vgl. dazu die Rechtsprechung im Zivilrecht, <ref-ruling> E. 5 S. 207, 106 II 141 E. 3b S. 144). An diese Sachverhaltsfeststellung ist das Bundesgericht unter den Voraussetzungen von Art. 105 Abs. 2 OG gebunden (vgl. E. 1b oben).
Die Rekurskommission hat O._ mit Schreiben vom 16. Februar 2000 aufgefordert, Belege betreffend Pachtzinszahlung für das Jahr 1999 an den Beschwerdeführer sowie betreffend Überweisung des Kaufpreises für das Inventar im Betrage von Fr. 122'405.-- beizubringen. O._ hat auf diese Aufforderung nicht reagiert. Mit Schreiben vom selben Tag hat die Rekurskommission den damaligen Rechtsvertreter des Beschwerdeführers, Rechtsanwalt P._, aufgefordert, den Erhalt der Pachtzinszahlung sowie der Kaufpreiszahlung von O._ zu belegen. Hierauf teilte Rechtsanwalt P._ mit Eingabe vom 7. März 2000 mit, dass er den Beschwerdeführer in diesem Verfahren nicht mehr vertrete.
Auf die an ihn selbst gerichtete Aufforderung der Rekurskommission vom 13. März 2000, die genannten Belege beizubringen, reagierte der Beschwerdeführer nicht.
Schon angesichts des Schweigens sowohl von O._ wie auch des Beschwerdeführers auf die erwähnten Aufforderungen kann der Schluss der Rekurskommission, dass von den Parteien weder die (Unter)verpachtung des Stalles L._ an O._ noch der Verkauf der Tiere wirklich gewollt war, nicht als offensichtlich unrichtig im Sinne von Art. 105 Abs. 2 OG gelten; dazu kommt, dass nicht nachvollziehbar ist, weshalb der Beschwerdeführer den Einwand, er sei nicht Bewirtschafter des Betriebes L._, nicht schon vor Erlass der Abgabeverfügung vorgebracht hat.
Die Rekurskommission ist daher zu Recht davon ausgegangen, dass der Beschwerdeführer am Tage der Betriebskontrolle nach wie vor Pächter des Stalles L._ sowie Eigentümer der dort eingestallten Tiere war und damit als Bewirtschafter für den nicht bewilligten Tierbestand grundsätzlich abgabepflichtig ist.
4.- Der Beschwerdeführer macht weiter geltend, eine Abgabe im Sinne von Art. 12 der Höchstbestandesverordnung dürfe nur erhoben werden, wenn der höchstzulässige oder ausnahmsweise bewilligte Gesamtbestand überschritten worden sei, nicht aber dann, wenn lediglich Schweine in einer anderen als den in der Ausnahmebewilligung aufgeführten Produktionsstätten gehalten werden. Die Vorinstanz habe indessen mit keinem Wort dargelegt, dass der Beschwerdeführer zum fraglichen Zeitpunkt den ihm bewilligten Höchstbestand überschritten habe.
Gemäss Art. 12 lit. b der Höchstbestandesverordnung ist eine Abgabe zu erheben, wenn mehr Tiere gehalten werden, als mit einer Ausnahmebewilligung festgelegt worden ist.
Die Vorinstanz ist, indem sie den Beschwerdeführer als Bewirtschafter der Produktionsstätte L._ für die dort gehaltenen Tiere als abgabepflichtig erklärte, implizit von der Voraussetzung ausgegangen, dass der Beschwerdeführer mit den in der Ausnahmebewilligungen erwähnten Produktionsstätten die ihm zugestandene Höchstzahl an Tieren auch ausnützt. An diese - bisher als selbstverständlich vorausgesetzte und erst im Verfahren vor Bundesgericht neu bestrittene - Tatsache ist das Bundesgericht unter den Voraussetzungen von Art. 105 Abs. 2 OG gebunden. Von einer fehlerhaften Sachverhaltsfeststellung kann hier nicht die Rede sein: die Vorinstanz hatte keinen Anlass, nachzuforschen, ob allenfalls die Produktionsstätten Käsereigenossenschaft B._ und Käsereigenossenschaft D._ wie der Beschwerdeführer nun neu behauptet, entgegen den Angaben in der Ausnahmebewilligung von einer andern Person als ihm selbst, nämlich von seinem Vater, bewirtschaftet würden.
Die Vorinstanz durfte daher von der Annahme ausgehen, der Beschwerdeführer nutze mit den in der Ausnahmebewilligung erwähnten Produktionsstätten den ihm zugestandenen Höchstbestand an Tieren aus; es hätte am Beschwerdeführer gelegen, jede für die Berechnung des Höchstbestandes wesentliche Tatsache, wie sie etwa ein Wechsel des Bewirtschafters darstellt, sofort dem Bundesamt zu melden und eine Anpassung der Ausnahmebewilligung zu verlangen.
5.- Die Erhebung der Abgabe, deren Höhe im Übrigen mit der Beschwerde nicht bestritten wird, erweist sich damit als bundesrechtskonform. Die Beschwerde ist daher abzuweisen.
Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG). Parteientschädigung ist keine geschuldet (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Landwirtschaft sowie der Rekurskommission des Eidgenössischen Volkswirtschaftsdepartements schriftlich mitgeteilt.
_
Lausanne, 11. Juni 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: