Sachverhalt: A. A.a. A. und B.C._ sowie D._ schlossen am 1. Mai 2000 einen Vertrag über die Errichtung einer Tierhaltungsgemeinschaft gestützt auf Art. 11 Abs. 1 der Landwirtschaftlichen Begriffsverordnung vom 7. Dezember 1998 (LBV; SR 910.91) in der bis 31. Dezember 2003 gültigen Fassung (AS 1999 65). Das Landwirtschaftsamt des Kantons Thurgau anerkannte mit Entscheid vom 16. Februar 2005 den Zusammenschluss der beiden Betriebe als Betriebszweiggemeinschaft gemäss Art. 12 Abs. 1 lit. a LBV ab dem 8. Februar 2005 zum Zweck der gemeinsamen Haltung von Tieren der Gattung Rinder. Die Anerkennung war mit den Auflagen verbunden, über die Betriebszweiggemeinschaft eine separate Rechnung zu führen, die Aufteilung der Tiere und die separate Rechnungsführung für den Betriebszweig in den Vertrag vom 1. Mai 2000 zu integrieren und die rechtsgültig unterzeichneten Anhänge 1 und 2 zum Vertrag umgehend dem Landwirtschaftsamt einzureichen. A.b. Am 14. Juni 2012 führten Vertreter des kantonalen Landwirtschaftsamts und des Bundesamts für Landwirtschaft (BLW) eine vorangekündigte Überprüfung der Betriebszweiggemeinschaft durch, um im Wesentlichen zu eruieren, ob die in Art. 12 LBV genannten Voraussetzungen noch erfüllt waren. Mit Schreiben vom 8. Oktober 2012 teilte das Landwirtschaftsamt A. und B.C._ und ihrem damaligen Betriebszweigpartner mit, für die Berechnung der Direktzahlungen 2012 (Referenzperiode vom 1. Mai 2011 bis 30. April 2012) sei unter anderem die korrekte Anzahl Tiere pro Betrieb notwendig. Bei einer Betriebszweiggemeinschaft erfolge die Aufteilung der Tiere in der Regel auf Grund des im Betriebszweiggemeinschaftsvertrag festgehaltenen Verteilschlüssels oder auf Grund anderer Kriterien. Mangels eines anderen Verteilschlüssels seien die von der Tierverkehrsdatenbank zugestellten Daten der Betriebszweiggemeinschaft im Verhältnis der vom Bundesamt gemeldeten vermarkteten Milchmenge zwischen den beiden Betrieben aufzuteilen, wobei die Verhältniszahlen 19.7 % (A. und B.C._) und 80.3 % (D._) betrügen. Werde eine andere Aufteilung gewünscht, müsste dem Landwirtschaftsamt bis spätestens 31. Oktober 2012 ein von beiden Partnern unterzeichneter Verteilschlüssel zukommen. Innert der genannten Frist ging kein von beiden Parteien unterzeichneter Verteilschlüssel ein. A.c. Am 26. Oktober 2012 widerrief das Landwirtschaftsamt den Entscheid betreffend Anerkennung einer Betriebszweiggemeinschaft vom 16. Februar 2005 und hob diese per 30. April 2013 auf. Es begründete dies im Wesentlichen damit, es sei nicht bekannt, ob sich beide Vertragsparteien noch am gemeinsamen Betriebszweig beteiligten und regelmässig Arbeit verrichteten, womit die Voraussetzungen von Art. 12 LBV nicht mehr gegeben seien. B. B.a. Mit Entscheid vom 26. November 2012 sprach das Landwirtschaftsamt A. und B.C._ einen Direktzahlungsanspruch für das Jahr 2012 von Fr. 40'700.90 zu. Es ging dabei von einem massgebenden Tierbestand von 23.01 Grossvieheinheiten aus, den es gestützt auf den Verteilschlüssel gemäss der Milchmenge errechnet hatte (19.7 % von 116.7805 Grossvieheinheiten). Den Betrag von Fr. 40'700.90 reduzierte es aufgrund des steuerbaren Vermögens von A.C._ von Fr. 1'497'900.-- um Fr. 38'375.90, sodass ein Direktzahlungsanspruch für das Jahr 2012 in der Höhe von Fr. 2'325.-- verblieb (Beitrag für den ökologischen Ausgleich). Da das Landwirtschaftsamt A. und B.C._ für das Jahr 2012 am 3. Juli 2012 aufgrund der Vorjahresdaten eine Akontozahlung von Fr. 24'000.-- ausgerichtet hatte, forderte sie mit Entscheid vom 28. November 2012 hiervon Fr. 21'675.-- zurück. B.b. Gegen die beiden ihre Direktzahlungen für das Jahr 2012 betreffenden Entscheide legten A. und B.C._ Rekurs ein beim Departement für Inneres und Volkswirtschaft des Kantons Thurgau, welches die Eingabe abwies. Eine hiergegen geführte Beschwerde beim Bundesverwaltungsgericht blieb erfolglos (Urteil vom 6. August 2014). C. Mit Eingabe vom 13. September 2014 beantragen A. und B.C._ dem Bundesgericht im Wesentlichen, den Entscheid des Bundesverwaltungsgerichts aufzuheben; eventuell sei die Streitsache zur Neuentscheidung an die Vorinstanzen zurückzuweisen. Das Landwirtschaftsamt des Kantons Thurgau und das Bundesamt für Landwirtschaft beantragen die Abweisung der Beschwerde. Das Bundesverwaltungsgericht hat darauf verzichtet, sich vernehmen zu lassen.