Sachverhalt: A. D._ führt in den Gemeinden Weinfelden und Bussnang (Ortsteil Rothenhausen) einen Landwirtschaftsbetrieb mit Futter- und Ackerbau sowie Milchviehwirtschaft. Anfangs 2012 gehörten 119 Tiere zum Betrieb, davon waren 66 Milchkühe. Die bearbeitete Fläche umfasste damals insgesamt rund 42.79 ha: 18.2 ha Eigenland in Rothenhausen, knapp 8 ha Eigenland in Weinfelden und knapp 16.7 ha Pachtland an verschiedenen Standorten. Ende 2014 umfasste die bearbeitete Fläche rund 42.55 ha. D._ arbeitet mit einem Vollzeit- und einem Teilzeitangestellten. Der Landwirtschaftsbetrieb hat zwei Standorte. Das Betriebszentrum (Sangenhof) befindet sich auf den Parzellen Nrn. 1'345 und 1'431 in Weinfelden, welche in der Wohnzone W3 und in der Landwirtschaftszone liegen. Der zweite Standort (Lindenhof) befindet sich in der Landwirtschaftszone von Rothenhausen auf der Parzelle Nr. 7'187. Gemäss dem Betriebskonzept vom 23. Januar 2012 will D._ das Betriebszentrum mittelfristig nach Rothenhausen verlegen. Am 23. Dezember 2009 ersuchte D._ um die Baubewilligung für eine Remise (inkl. Werkstatt) auf der Parzelle Nr. 7'187 in Rothenhausen. Das kantonale Amt für Raumentwicklung (damals noch Amt für Raumplanung genannt) beurteilte das Vorhaben als zonenkonform, worauf die Politische Gemeinde Bussnang die Bewilligung erteilte. Das Departement für Bau und Umwelt (DBU) des Kantons Thurgau hiess die dagegen erhobenen Rekurse gut und hob die Baubewilligung auf. Dieser Entscheid erwuchs in Rechtskraft. Am 12. Januar 2012 reichte D._ ein überarbeitetes Baugesuch für zwei kleinere Gebäude ein. Vorgesehen sind danach eine Remise und eine separate Werkstatt. Das kantonale Amt für Raumentwicklung erachtete das Vorhaben mit Entscheid vom 7. Juni 2012 als zonenkonform, worauf die Gemeinde Bussnang am 3. September 2012 die Baubewilligung erteilte und die erhobenen Einsprachen abwies. In der Folge legten unter anderen A. und B. C._ Rekurs ein. Mit Entscheid vom 30. Mai 2014 wies das DBU das Rechtsmittel ab. Zur Begründung führte es im Wesentlichen aus, die Remise und die Werkstatt seien zwar etwas zu gross, doch sei eine gewisse Reservebildung für die Zukunft zulässig. Auch scheine der Maschinenpark leicht überdotiert. Die Vermietung von Maschinen an Dritte über die E._ AG sei jedoch nicht zu beanstanden, zudem sei diese gewerbliche Tätigkeit untergeordneter Natur. Weiter ging das DBU davon aus, eine Erweiterung des Betriebs in Weinfelden sei wegen der angrenzenden Wohnzone nicht möglich. Zu berücksichtigen gelte es auch, dass in Rothenhausen bereits landwirtschaftliche Gebäude bestünden und der Standort durch die Gebäude der F._ erheblich vorbelastet sei. Gegen diesen Entscheid erhoben A. und B. C._ Beschwerde ans Verwaltungsgericht des Kantons Thurgau. Mit Entscheid vom 2. September 2015 wies dieses die Beschwerde ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht beantragen A. und B. C._, der Entscheid des Verwaltungsgerichts sei aufzuheben und das Baugesuch abzuweisen. Die Gemeinde hat auf eine Stellungnahme verzichtet. Das Verwaltungsgericht, das DBU und der Beschwerdegegner schliessen auf die Abweisung der Beschwerde. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung (ARE) beantragt, die Sache zur Klärung des Sachverhalts an die Vorinstanz zurückzuweisen. Der Beschwerdegegner und die Beschwerdeführer haben erneut Stellung genommen. Mit Präsidialverfügung vom 20. November 2015 hat das Bundesgericht der Beschwerde die aufschiebende Wirkung zuerkannt.