Sachverhalt:
A.
A.a. A. und B.C._ sowie D._ schlossen am 1. Mai 2000 einen Vertrag über die Errichtung einer Tierhaltungsgemeinschaft gestützt auf Art. 11 Abs. 1 der Landwirtschaftlichen Begriffsverordnung vom 7. Dezember 1998 (LBV; SR 910.91) in der bis 31. Dezember 2003 gültigen Fassung (AS 1999 65). Das Landwirtschaftsamt des Kantons Thurgau anerkannte mit Entscheid vom 16. Februar 2005 den Zusammenschluss der beiden Betriebe als Betriebszweiggemeinschaft gemäss Art. 12 Abs. 1 lit. a LBV ab dem 8. Februar 2005 zum Zweck der gemeinsamen Haltung von Tieren der Gattung Rinder. Die Anerkennung war mit den Auflagen verbunden, über die Betriebszweiggemeinschaft eine separate Rechnung zu führen, die Aufteilung der Tiere und die separate Rechnungsführung für den Betriebszweig in den Vertrag vom 1. Mai 2000 zu integrieren und die rechtsgültig unterzeichneten Anhänge 1 und 2 zum Vertrag umgehend dem Landwirtschaftsamt einzureichen.
A.b. Am 14. Juni 2012 führten Vertreter des kantonalen Landwirtschaftsamts und des Bundesamts für Landwirtschaft (BLW) eine vorangekündigte Überprüfung der Betriebszweiggemeinschaft durch, um im Wesentlichen zu eruieren, ob die in Art. 12 LBV genannten Voraussetzungen noch erfüllt waren. Mit Schreiben vom 8. Oktober 2012 teilte das Landwirtschaftsamt A. und B.C._ und ihrem damaligen Betriebszweigpartner mit, für die Berechnung der Direktzahlungen 2012 (Referenzperiode vom 1. Mai 2011 bis 30. April 2012) sei unter anderem die korrekte Anzahl Tiere pro Betrieb notwendig. Bei einer Betriebszweiggemeinschaft erfolge die Aufteilung der Tiere in der Regel auf Grund des im Betriebszweiggemeinschaftsvertrag festgehaltenen Verteilschlüssels oder auf Grund anderer Kriterien. Mangels eines anderen Verteilschlüssels seien die von der Tierverkehrsdatenbank zugestellten Daten der Betriebszweiggemeinschaft im Verhältnis der vom Bundesamt gemeldeten vermarkteten Milchmenge zwischen den beiden Betrieben aufzuteilen, wobei die Verhältniszahlen 19.7 % (A. und B.C._) und 80.3 % (D._) betrügen. Werde eine andere Aufteilung gewünscht, müsste dem Landwirtschaftsamt bis spätestens 31. Oktober 2012 ein von beiden Partnern unterzeichneter Verteilschlüssel zukommen. Innert der genannten Frist ging kein von beiden Parteien unterzeichneter Verteilschlüssel ein.
A.c. Am 26. Oktober 2012 widerrief das Landwirtschaftsamt den Entscheid betreffend Anerkennung einer Betriebszweiggemeinschaft vom 16. Februar 2005 und hob diese per 30. April 2013 auf. Es begründete dies im Wesentlichen damit, es sei nicht bekannt, ob sich beide Vertragsparteien noch am gemeinsamen Betriebszweig beteiligten und regelmässig Arbeit verrichteten, womit die Voraussetzungen von Art. 12 LBV nicht mehr gegeben seien.
B.
B.a. Mit Entscheid vom 26. November 2012 sprach das Landwirtschaftsamt A. und B.C._ einen Direktzahlungsanspruch für das Jahr 2012 von Fr. 40'700.90 zu. Es ging dabei von einem massgebenden Tierbestand von 23.01 Grossvieheinheiten aus, den es gestützt auf den Verteilschlüssel gemäss der Milchmenge errechnet hatte (19.7 % von 116.7805 Grossvieheinheiten). Den Betrag von Fr. 40'700.90 reduzierte es aufgrund des steuerbaren Vermögens von A.C._ von Fr. 1'497'900.-- um Fr. 38'375.90, sodass ein Direktzahlungsanspruch für das Jahr 2012 in der Höhe von Fr. 2'325.-- verblieb (Beitrag für den ökologischen Ausgleich). Da das Landwirtschaftsamt A. und B.C._ für das Jahr 2012 am 3. Juli 2012 aufgrund der Vorjahresdaten eine Akontozahlung von Fr. 24'000.-- ausgerichtet hatte, forderte sie mit Entscheid vom 28. November 2012 hiervon Fr. 21'675.-- zurück.
B.b. Gegen die beiden ihre Direktzahlungen für das Jahr 2012 betreffenden Entscheide legten A. und B.C._ Rekurs ein beim Departement für Inneres und Volkswirtschaft des Kantons Thurgau, welches die Eingabe abwies. Eine hiergegen geführte Beschwerde beim Bundesverwaltungsgericht blieb erfolglos (Urteil vom 6. August 2014).
C.
Mit Eingabe vom 13. September 2014 beantragen A. und B.C._ dem Bundesgericht im Wesentlichen, den Entscheid des Bundesverwaltungsgerichts aufzuheben; eventuell sei die Streitsache zur Neuentscheidung an die Vorinstanzen zurückzuweisen.
Das Landwirtschaftsamt des Kantons Thurgau und das Bundesamt für Landwirtschaft beantragen die Abweisung der Beschwerde. Das Bundesverwaltungsgericht hat darauf verzichtet, sich vernehmen zu lassen.

Erwägungen:
1.
1.1. Angefochten ist ein Endentscheid über die Ausrichtung von Direktzahlungen gemäss Art. 70 Abs. 1 des Bundesgesetzes vom 29. April 1998 über die Landwirtschaft (Landwirtschaftsgesetz, LwG; SR 910.1). Es handelt sich um ein Urteil des Bundesverwaltungsgerichts in einer Angelegenheit des öffentlichen Rechts, gegen das die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht grundsätzlich offen steht (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. a und Art. 90 BGG). Auf die fraglichen bundesrechtlich geregelten Beiträge besteht Anspruch, und es gilt insofern kein gesetzlicher Ausschlussgrund (vgl. Art. 83 lit. k und s BGG).
1.2. Die Beschwerdeführer sind als direkte Adressaten des angefochtenen Entscheides, der die Kürzungen der - von ihnen teilweise bereits bezogenen - Direktzahlungen für das Jahr 2012 bestätigt, zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert (<ref-law>).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, wie ihn die Vorinstanz festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, wenn er offensichtlich unrichtig, unvollständig oder in Verletzung wesentlicher Verfahrensrechte ermittelt wurde (<ref-law>). Der Betroffene hat darzulegen, dass und inwiefern dies klar und eindeutig der Fall ist (vgl. <ref-ruling> S. 17 f.; <ref-ruling> E. 4.1.2 S. 62; <ref-ruling> E. 1.2 S. 187 mit Hinweisen).
2.
2.1. Die Vorinstanz hat in korrekter Weise dargetan, dass - soweit von der Gesetzgebung keine abweichenden Übergangsregelungen getroffen wurden - diejenigen Rechtssätze anwendbar sind, welche bei Erfüllung eines rechtlich zu ordnenden oder zu Rechtsfolgen führenden Tatbestandes Geltung hatten (vgl. <ref-ruling> E. 3b/aa S. 534; Urteil 2C_533/2009 vom 18. Februar 2010 E. 1.2). Der vorliegend zu beurteilende Sachverhalt bezieht sich auf Direktzahlungen für das Jahr 2012, weshalb die damals geltenden Rechtssätze anzuwenden sind.
2.2. Gemäss <ref-law> in der bis zum 31. Dezember 2013 geltenden Fassung vom 20. Juni 2003 (AS 2003 4217) richtete der Bund im Rahmen der Agrarpolitik 2011 Bewirtschaftern und Bewirtschafterinnen von bodenbewirtschaftenden bäuerlichen Betrieben unter der Voraussetzung des ökologischen Leistungsnachweises allgemeine Direktzahlungen, Ökobeiträge und Ethobeiträge aus. In diesem Zusammenhang bestimmt der Bundesrat gemäss Art. 70 Abs. 5 lit. f Satz 1 LwG (in der bis Ende 2013 gültigen Fassung) die Grenzwerte bezüglich des steuerbaren Einkommens und Vermögens der Bewirtschafter oder Bewirtschafterinnen, ab denen die Summen der Beiträge gekürzt oder keine Beiträge ausgerichtet wurden.
2.3. Der Bundesrat hat die relevanten Einkommens- und Vermögensgrenzen in Art. 24 der im Jahr 2012 in Kraft gewesenen Verordnung über die Direktzahlungen an die Landwirtschaft (aDZV; AS 1999 229) konkretisiert. Gemäss der Bestimmung sind für die Bemessung des steuerbaren Vermögens die Werte der letzten zwei Steuerjahre massgebend, die bis zum Ende des Beitragsjahres rechtskräftig veranlagt worden sind. Gemäss Art. 23 Abs. 3 aDZV werden ab einem massgeblichen Vermögen von einer Million Franken keine Direktzahlungen ausgerichtet. Das massgebende Vermögen ist das steuerbare Vermögen, vermindert um Fr. 270'000.-- pro Standardarbeitskraft (Art. 23 Abs. 1 aDZV). Keine Direktzahlungen erhalten Bewirtschafter und Bewirtschafterinnen, die vor dem 1. Januar des Beitragsjahres das 65. Altersjahr erreicht haben, wie dies für den Beschwerdeführer 2 zutrifft. Wird ein Betrieb von einer Personengesellschaft bewirtschaftet, so ist das Alter des jüngsten Bewirtschafters - vorliegend des Beschwerdeführers 1 - massgebend (Art. 19 Abs. 1 und 2 aDZV). Der für die Umrechnung in GVE massgebende Tierbestand wird grundsätzlich gestützt auf eine (Selbst-) Deklaration des Bewirtschafters erhoben. Dies ergibt sich aus Art. 29 Abs. 1 aDZV sowie den damals geltenden Weisungen und Erläuterungen des BLW (vgl. Weisungen und Erläuterungen 2012 zur Verordnung über die Direktzahlungen an die Landwirtschaft vom 7. Dezember 1998 zu Art. 29).
2.4. Der Bundesrat hat die Faktoren und Werte für die Berechnung einer Standardarbeitskraft in Abschnitt 1a der Verordnung vom 4. Oktober 1993 über das bäuerliche Bodenrecht (VBB, SR 211.412.110) festgelegt. Nach Art. 2a Abs. 1 VBB gelten für die Festlegung der Betriebsgrösse nach Standardarbeitskräften (SAK) die Faktoren von Art. 3 LBV. Nach dieser Bestimmung ist die Standardarbeitskraft eine Einheit für die Erfassung des gesamtbetrieblichen Arbeitszeitbedarfs mit Hilfe standardisierter Faktoren, die in Art. 3 Abs. 2 LBV näher umschrieben werden. Massgeblich sind die landwirtschaftliche Nutzfläche (lit. a) und die Anzahl der Tiere in Grossvieheinheiten (lit. b), ergänzt durch Zuschläge bei bestimmten besonderen Voraussetzungen wie etwa für Hang- bzw. Steillagen im Berggebiet oder in der Hügelzone (lit. c). Für die Anzahl Tiere gilt bei Milchkühen der Faktor 0.043 Standardarbeitskraft pro Grossvieheinheit und für die Umrechnung der Tiere in Grossvieheinheiten gelten die Faktoren im Anhang der LBV; bei Milchkühen ist dies der Faktor 1.00 (Art. 27 LBV; vgl. <ref-ruling> E. 3.1.2 ff. S. 185 ff.).
3.
3.1. Die Vorinstanz hat sich auf den Standpunkt gestellt, die von den Beschwerdeführern beanstandeten Kürzungen der Subventionen seien zurecht erfolgt. So hätten ihre Vorinstanzen die Grösse der Standardarbeitskraft in zulässiger Weise auf der Basis von 1.6079 Grossvieheinheiten ermittelt. Bei einer Standardarbeitskraft von 1.6079 habe ein Abzug von Fr. 434'133.--, der sich aus der ermittelten Standardarbeitskraft multipliziert mit Fr. 270'000.-- zusammensetzt, vom steuerbaren Vermögen des Beschwerdeführers 1 vorgenommen werden können (Art. 3 Abs. 2 lit. b, Art. 27 und Anhang LBV; Art. 23 Abs. 1 aDZV; hiervor E. 2.2 und 2.3). Da sich dieses für 2012 auf Fr. 1'497'000.-- belief, sei die Millionengrenze für Beitragskürzungen auch nach dem Abzug nicht unterschritten worden. Die Streichung der Subventionen (mit Ausnahme des ökologischen Ausgleichs) sei daher korrekt.
3.2. Die Beschwerdeführer bringen vor, die Berechnung der Vorinstanz sei mit Bezug auf die Anzahl der von ihnen damals gehaltenen Tiere unrichtig vorgenommen worden. Sie hätten per Fax die relevante Tierzahl rechtzeitig eingereicht und für das Beitragsjahr über 47.1 Grossvieheinheiten verfügt. Die Beschwerdeführer wollen damit sinngemäss geltend machen, die entsprechende Anzahl Tiere hätte - als Standardarbeitskraft umgerechnet - beim Beschwerdeführer 1 zu einem relevanten Vermögen von unter einer Million CHF geführt (Art. 3 Abs. 2 lit. b, Art. 27 und Anhang LBV; Art. 23 Abs. 1 aDZV). Damit sei von zu Unrecht vorenthaltenen Direktzahlungen in der Höhe von Fr. 45'000.-- (bzw. Fr. 38'375.90) auszugehen. Die Beschwerdeführer machen geltend, auch die Milchmenge, auf die sich die Vorinstanz letztlich für die Berechnung der Anzahl Tiere stützte, sei unrichtig ermittelt worden.
3.3. Die Rügen der Beschwerdeführer sind - sofern sie überhaupt als hinreichend belegt gelten können (vgl. E. 1.3) - offensichtlich unbegründet:
3.3.1. Wie das Bundesverwaltungsgericht richtig anführt, trifft die Bewirtschafter gerade für den Bezug von Subventionen eine erhebliche Mitwirkungspflicht (vgl. Urteile 2C_785/2008 vom 22. April 2009 E. 3.2 f.; 2C_388/2008 vom 16. Dezember 2008 E. 4.1). Die Mitwirkungspflicht gilt namentlich für solche Tatsachen, welche eine Partei besser kennt als die Behörde und welche diese ohne ihre Mitwirkung gar nicht oder nicht mit vernünftigem Aufwand erheben kann (vgl. <ref-ruling> E. 3.2 S. 485 f.). Vorliegend hat das Landwirtschaftsamt die Beschwerdeführer aufgefordert, die korrekte Anzahl Tiere pro Betrieb der Betriebszweiggemeinschaft bis spätestens am 31. Oktober 2012 mitzuteilen oder ihm einen von allen Partnern der Betriebszweiggemeinschaft unterzeichneten Verteilschlüssel zukommen zu lassen (vgl. Sachverhalt A.b). Dieser Aufforderung haben die Beschwerdeführer keine Folge geleistet; ein von allen Vertragspartnern unterzeichneter Verteilschlüssel lag unstrittig nicht vor. Indem Art. 9 des in den Akten befindlichen Betriebszweiggemeinschaftvertrags für Gesellschaftsbeschlüsse auf <ref-law> verweist und damit die Zustimmung aller Gesellschafter verlangt, durfte die Vorinstanz davon ausgehen, dem Landwirtschaftsamt seien keine gültigen Aufteilungsvorschläge zugekommen. Die Rüge der Faxzustellung vermag die vorinstanzlichen Sachverhaltsfeststellungen zur fehlenden Mitwirkungspflicht ebenso wenig infrage zu stellen wie die Berufung der Beschwerdeführer auf ein - angeblich - nicht korrektes Verhalten ihres Vertragspartners D._.
3.3.2. Die Beschwerdeführer bringen vor, "die Milchliefermenge müsse gemäss dem Betriebsdatenblatt, welches unterzeichnet an die Gemeindestelle für Landwirtschaft ... zur Kontrolle abgegeben werden musste, berechnet werden". Das am 15. Mai 2012 unterschriebene Betriebsdatenblatt enthält für das relevante Beitragsjahr 2012 eine selbst deklarierte Vertragsmenge Milch von 250'000 kg. Gemäss den Sachverhaltsfeststellungen der Vorinstanz ist die tatsächlich gelieferte, von der Treundhandstelle Milch dem Bundesamt für Landwirtschaft übermittelte Menge indessen 154'849 kg Milch. Es ist nicht zu beanstanden, dass die Vorinstanz die Anzahl der gehaltenen Tiere aufgrund der fehlenden Angaben über die Milchmenge eruiert; letztere war als Verteilschlüssel ohnehin auch in Art. 7 des von den Beschwerdeführern mit ihrem Partner geschlossenen Vertrags über die Errichtung einer Betriebszweiggemeinschaft vorgesehen (vgl. Art. 11 Abs. 1 lit. d LBV). Die Vorinstanz geht sodann richtig vor, wenn sie - insbesondere bei Hinweisen auf erhebliche Unterschiede zwischen der von den Beschwerdeführern selbst deklarierten und der tatsächlich gelieferten Milchmenge - auf letztere abstellt (vgl. hiervor E. 2.3). Die massgebliche Anzahl Tiere ist demnach in nicht zu beanstandender Weise ermittelt worden, und der Antrag, wonach eine "neutrale Drittperson, ev. vom Bauernverband" die Berechnung der Vorinstanzen überprüfen solle, ist vollumfänglich abzuweisen.
4.
Nach dem Gesagten ist die Kürzung der Direktzahlungen für das Jahr 2012 in korrekter Weise erfolgt. Die Beschwerde ist unbegründet und abzuweisen. Bei diesem Ausgang des Verfahrens haben die Beschwerdeführer die Kosten des Verfahrens unter solidarischer Haftung zu tragen (Art. 65 sowie Art. 66 Abs. 1 und 5 BGG). Parteientschädigungen sind keine geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Bundesverwaltungsgericht, Abteilung II, dem Bundesamt für Landwirtschaft und dem Eidgenössischen Departement für Wirtschaft, Bildung und Forschung, schriftlich mitgeteilt.
Lausanne, 29. Mai 2015
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Hänni