Sachverhalt: A. A._ bewirtschaftet in U._/AG einen landwirtschaftlichen Betrieb. 2003 wurde dieser um einen Stall für rund 2'000 Legehennen erweitert. Für das Jahr 2004 wurde der Betrieb als Biobetrieb anerkannt. In einem Briefwechsel im Anschluss an das entsprechende Beurteilungsverfahren teilte ihm die X._ AG (nachfolgend: Zertifizierungsstelle) mit, die Anforderungen zur biologischen Bewirtschaftung würden zwar grundsätzlich eingehalten, es fehlten aber die erforderlichen Bodenanalysen, die bei der Kontrolle für das Jahr 2005 vorzuweisen seien. Allfällige Mängel könnten im Übrigen zu Kürzungen der Direktzahlungen führen, worüber die dafür zuständige kantonale Behörde verfüge. Im Verfahren der Beurteilung als Biobetrieb für das Jahr 2005 entschied die Zertifizierungsstelle zunächst am 6. Januar 2006, der Betrieb von A._ könne weder als Bio Suisse-Betrieb noch als Biobetrieb gemäss der Bio-Verordnung anerkannt werden. Einen dagegen erhobenen Rekurs hiess die Rekursstelle am 7. April 2006 teilweise gut; obwohl die Phosphor-Bilanz seit der Neuaufnahme der Legehennenhaltung einen massiven Überschuss aufweise, sei die Aberkennung als Biobetrieb angesichts der damit verbundenen Folgen unverhältnismässig. Am 10. Mai 2006 trat die Fachstelle Landwirtschaft, V._, auf ein Gesuch von A._, die Aufdüngung seiner unterversorgten Böden mit Hofdünger für das Jahr 2005 zu bewilligen, nicht ein, im Wesentlichen mit der Begründung, ein solches Gesuch müsse jeweils vor der fraglichen Aufdüngung bewilligt werden. Am 15. Mai 2006 stellte die Zertifizierungsstelle A._ das Bio-Zertifikat 2005 zu, sanktionierte ihn aber gleichzeitig mit 100 Punkten, weil keine korrekte Suisse-Bilanz eingereicht worden sei. Auf Rekurs hin hob die Rekursinstanz am 11. Juli 2006 ihren früheren Rekursentscheid vom 7. April 2006 auf und anerkannte am 18. August 2006 den Betrieb des Beschwerdeführers als solchen sowohl gemäss Bio-Verordnung als auch gemäss Bio Suisse. Am 4. Dezember 2006 zertifizierte die Zertifizierungsstelle den Betrieb von A._ für das Jahr 2006. Am 6. Dezember 2006 korrigierte sie die Begründung ihres Entscheides vom 18. August 2006 für das Jahr 2005, ohne die Zertifizierung als solche sowie das Total von Null Punkten zu ändern. B. Mit Schreiben vom 25. April 2007 stellte das Departement Finanzen und Ressourcen, Abteilung Landwirtschaft, des Kantons Aargau (nachfolgend: Departement) A._ in Aussicht, ihm für das Beitragsjahr 2005 aufgrund Nichterbringens des ökologischen Leistungsnachweises wegen Mängeln in den Bereichen Aufzeichnungen und Düngung die Direktzahlungen zu verweigern. Nachdem sich A._ dazu geäussert hatte, verfügte das Departement am 15. Januar 2008 wie folgt: "1. Für die Mängel in den Bereichen Aufzeichnungen und Düngung im Jahre 2005 wird eine Nettosanktion von insgesamt 278 Punkten ausgesprochen. 2. Dem Gesuch um Auszahlung von Beiträgen gemäss Direktzahlungsverordnung des Bundes pro 2005 kann daher nicht entsprochen werden. 3. Auf die Rückforderung des mit der Akontozahlung vom 7. Juli 2005 ausbezahlten Beitrages von Fr. 28'803.-- wird verzichtet." Am 9. Dezember 2008 wies die Landwirtschaftliche Rekurskommission des Kantons Aargau einen dagegen erhobenen Rekurs ab. Mit Urteil vom 10. November 2010 wies auch das Bundesverwaltungsgericht die bei ihm eingereichte Beschwerde vom 23. Januar 2009 gegen den Rekursentscheid ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 13. Januar 2011 an das Bundesgericht beantragte A._, das angefochtene Urteil sei aufzuheben und es seien ihm in Feststellung seiner Anspruchsberechtigung für das Jahr 2005 die Direktzahlungen ungekürzt auszurichten bzw. die Erstinstanz sei anzuweisen, die Direktzahlungen für das Beitragsjahr 2005 zu ermitteln und auszurichten; zuzüglich Zins von 5 % seit 1. Januar 2006. Eventuell sei die Sache im Sinne der Erwägungen an die Vorinstanz bzw. an die Erstinstanz zur Neubeurteilung zurückzuweisen. Mit Urteil 2C_44/2011 vom 26. Juli 2011 hiess das Bundesgericht die Beschwerde gut, hob den Entscheid des Bundesverwaltungsgerichts vom 10. November 2010 auf und wies die Sache im Sinne der Erwägungen zur weiteren Abklärung und Neubeurteilung an die Landwirtschaftliche Rekurskommission des Kantons Aargau bzw. zur Neuregelung der Kosten- und Entschädigungsfolgen des vorinstanzlichen Verfahrens an das Bundesverwaltungsgericht zurück. D. Mit Urteil vom 29. November 2012 wies die landwirtschaftliche Rekurskommission des Kantons Aargau (heute: Verwaltungsgericht) die Beschwerde erneut ab, ebenso auf Beschwerde hin das Bundesverwaltungsgericht mit Urteil vom 20. Mai 2015. E. A._ erhebt mit Eingabe vom 29. Juni 2015 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht mit dem Antrag, das angefochtene Urteil sei aufzuheben und es seien ihm die Direktzahlungen für das Jahr 2005 ungekürzt auszurichten bzw. die Erstinstanz sei anzuweisen, den Umfang der Direktzahlungen für das Beitragsjahr 2005 zu ermitteln und zuzüglich Zins von 5 % seit 1. Januar 2006 auszurichten. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Subeventuell seien ihm für das vorinstanzliche Verfahren keine Kosten aufzuerlegen und eine Parteientschädigung auszurichten. Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung. Das Verwaltungsgericht und das Departement des Innern des Kantons Aargau beantragen Abweisung der Beschwerde. Das Bundesamt für Landwirtschaft unterstützt den Entscheid des Bundesverwaltungsgerichts.