Abgaben auf Tierbeständen, hat sich ergeben: A.- A._ ist Inhaber einer Käserei in C._ und Bewirtschafter eines Schweinemast- und Schweinezuchtbetriebes. Für diesen Betrieb erteilte ihm das Bundesamt für Landwirtschaft (im Folgenden: Bundesamt) am 14. April 1998 eine Ausnahmebewilligung für maximal 1'720 Mastschweine oder Jager (ab 30 kg) und 36 Zuchtsauen sowie 18 Jungsauen oder Remonten, gehalten in den Produktionsstätten KG B._ (650 Mastschweine), KG D._ (360 Mastschweine), C._ (460 Mastschweine), E._ (250 Mastschweine) und F._ (36 Zuchtsauen und Remonten). Die Bewilligung wurde erteilt für die Dauer vom 1. Januar 1997 bis 31. Dezember 2001. In der Ausnahmebewilligung wird im Weiteren festgehalten, dass der Bewilligungsinhaber an folgenden Betrieben beteiligt ist: Q._ AG in B._ (Zuchtbetrieb mit 75 Zuchtsauen und 500 Mastschweineplätzen), H._ AG in I._ (Schweinemastbetrieb mit 620 Mastschweineplätzen) und K._ AG in I._ (Kälbermastbetrieb mit 200 Mastkälberplätzen). Anlässlich einer Betriebsbesichtigung vom 4. März 1999 stellte das Bundesamt fest, dass im Stall "L._" in M._ den A._ gepachtet hat, 135 Zuchtsauen und vier Eber gehalten wurden. B.- Mit Verfügung vom 31. August 1999 auferlegte das Bundesamt A._ für das Jahr 1999 eine Abgabe von Fr. 67'500.--, d.h. Fr. 500.-- pro Mutterschwein. In der Begründung wird ausgeführt, es handle sich beim Zuchtschweinebestand im Betrieb L._ um einen nicht bewilligten Tierbestand, da diese Produktionsstätte nicht in der Ausnahmebewilligung von 14. April 1998 eingeschlossen sei. Dagegen erhob A._ Verwaltungsbeschwerde bei der Rekurskommission EVD (im Folgenden: Rekurskommission). Die Rekurskommission wies die Beschwerde mit Entscheid vom 29. Dezember 2000 ab. C.- Dagegen hat A._ mit Eingabe vom 31. Januar 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Er beantragt, den Entscheid der Rekurskommission vom 29. Dezember 2000 und die Verfügung des Bundesamtes für Landwirtschaft vom 31. August 1999 aufzuheben. Das Bundesamt für Landwirtschaft hat seine Vernehmlassung verspätet eingereicht. Die Rekurskommission EVD hat auf eine Vernehmlassung verzichtet.