Sachverhalt:
A.
Dem Verein A._, mit Sitz in B._ TG, gewährte das Departement für Finanzen und Soziales des Kantons Thurgau am 15. April 2014 die für die Staats- und die direkte Bundessteuer beantragte Steuerbefreiung. Mit Entscheid vom 4. März 2016 entzog das Departement dem Verein diese Befreiung wieder. Dagegen gelangte der Betroffene erfolglos an das Verwaltungsgericht des Kantons Thurgau.
B.
Am 14. September 2016 hat der Verein beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht. Er stellt den Antrag, den verwaltungsgerichtlichen Entscheid vom 13. Juli 2016 aufzuheben und die Steuerbefreiung weiterhin zu gewähren.
C.
Das Departement für Finanzen und Soziales sowie das Verwaltungsgericht schliessen auf Abweisung der Beschwerde. Die Eidgenössische Steuerverwaltung hat auf eine Stellungnahme verzichtet.

Erwägungen:
I. Prozessuales
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid betreffend die direkten Steuern des Kantons und des Bundes. Dagegen steht gemäss <ref-law> in Verbindung mit Art. 73 ff. des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG, SR 642.14) und mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG, SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Der Beschwerdeführer ist im kantonalen Verfahren mit seinen Anträgen nicht durchgedrungen, weshalb er zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert ist (<ref-law>). Auf das form- und fristgerecht eingereichte Rechtsmittel ist somit einzutreten.
1.2. Das gilt auch insoweit, als der Beschwerdeführer den vorinstanzlichen Entscheid mit einer einzigen Beschwerdeeingabe anficht (vgl. dazu im Einzelnen das Urteil 2C_603/2012, 2C_604/2012 vom 10. Dezember 2012 E. 1).
1.3. Mit Beschwerde an das Bundesgericht kann insbesondere die Verletzung von Bundesrecht gerügt werden (vgl. <ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann die Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder sie mit einer vom angefochtenen Entscheid abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4.1 S. 254).
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann diesen nur dann berichtigen oder ergänzen, wenn er offensichtlich unrichtig, unvollständig oder in Verletzung wesentlicher Verfahrensrechte ermittelt wurde (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG)
II. Direkte Bundessteuer
2.
Nach <ref-law> sind juristische Personen, die öffentliche oder gemeinnützige Zwecke verfolgen, von der subjektiven Steuerpflicht befreit für den Gewinn, der ausschliesslich und unwiderruflich diesen Zwecken gewidmet ist.
2.1. Damit eine juristische Person gemäss der genannten Bestimmung von der Steuerpflicht befreit werden kann, müssen die folgenden allgemeinen Voraussetzungen kumulativ erfüllt sein: (a) Die Mittelverwendung muss ausschliesslich auf die öffentliche Aufgabe oder das Wohl Dritter ausgerichtet sein, (b) die der Zweckbindung gewidmeten Mittel müssen unwiderruflich steuerbefreiten Zwecken verhaftet sein und (c) die vorgegebene Zwecksetzung gemäss Statuten muss tatsächlich verwirklicht werden (vgl. die Urteile 2C_484/2015 vom 10. Dezember 2015 E. 5.3 in: StR 71/2016 S. 359; 2C_251/2012 vom 17. August 2012 E. 2.1 u. 2.2 in: StE 2012 B 71.63 Nr. 28; 2C_162/2011 vom 17. Oktober 2011 E. 3.2 in: StR 67/2012 S. 133; 2C_592/2008 vom 2. Februar 2009 E. 2.1 in: StR 64/2009 S. 389; siehe auch das Kreisschreiben Nr. 12 der EStV vom 8. Juli 1994, in: ASA 63 S. 130 ff.). Erforderlich ist also namentlich die konkrete, überprüfbare, tatsächliche Verwirklichung der vorgegebenen Zwecksetzung; die bloss statutarische Proklamation einer steuerbefreiten Tätigkeit genügt nicht (vgl. das Urteil 2A.254/2000 vom 2. April 2001 E. 2c in: ASA 70 S. 294).
2.2. Erforderlich ist zuerst einmal eine dauerhafte Tätigkeit im Allgemeininteresse. Dabei wird Gemeinnützigkeit aber nicht in dem weiten Sinne verstanden, der jede Betätigung im Dienst der Allgemeinheit umfasst und der auch alle Bestrebungen einschliessen würde, welche irgendwie auf wirtschaftliche oder soziale Förderung einzelner Bevölkerungskreise gerichtet sind (vgl. das Urteil 2C_77/2007 vom 2. April 2009 E. 3.2 in: StR 64/2009 S. 487; siehe auch schon <ref-ruling> E. 2b S. 279; <ref-ruling> E. 2b S. 9 f.; 71 I 119 E. 1 S. 124 f.).
2.2.1. Nach ständiger Praxis kann das Gemeinwohl gefördert werden durch Tätigkeiten in karitativen, humanitären, gesundheitsfördernden, ökologischen, erzieherischen, wissenschaftlichen und kulturellen Bereichen. Als das Gemeinwohl fördernd erscheinen beispielsweise die soziale Fürsorge, Kunst und Wissenschaft, Unterricht, die Förderung der Menschenrechte, Heimat-, Natur- und Tierschutz sowie die Entwicklungshilfe (vgl. das Urteil 2C_592/2008 vom 2. Februar 2009 E. 2.1 u. 4.1 in: StR 64/2009 S. 389; siehe auch Ziffer 3a des bereits erwähnten Kreisschreibens Nr. 12 der EStV).
2.2.2. Ein Allgemeininteresse wird regelmässig nur dann angenommen, wenn der Kreis der Destinatäre, denen die Förderung bzw. Unterstützung zukommt, grundsätzlich offen ist. Ein allzu enger Destinatärskreis (z.B. durch die Begrenzung auf den Kreis der Familie oder die Mitglieder eines Vereins) schliesst eine Steuerbefreiung wegen Gemeinnützigkeit aus (vgl. die Urteile 2C_592/2008 vom 2. Februar 2009 E. 4.1 in: StR 64/2009 S. 389; 2P.143/1998 vom 8. März 1999 E. 6a in: Pra 2001 Nr. 1 S. 1; 2A.408/1990 vom 2. Juli 1991 E. 2 in: ASA 60 S. 623).
2.2.3. Ein solches Interesse fehlt praxisgemäss ebenfalls bei wirtschaftlichen oder beruflichen Vereinigungen, deren Interessen allein auf die Förderung des Berufsstandes oder eines oder mehrerer (beschränkter) Wirtschaftszweige gerichtet ist (vgl. die Urteile 2C_592/2008 vom 2. Februar 2009 E. 2.1 in: StR 64/2009 S. 389; 2A.408/1990 vom 2. Juli 1991 E. 3a, in: ASA 60 S. 623; StE 1987 B 71.63 Nr. 4). Diese Art der Förderung liegt zwar im öffentlichen Interesse; da damit aber auch die Interessen der angeschlossenen Verbände wahrgenommen werden, dient die Tätigkeit nicht ausschliesslich oder überwiegend gemeinnützigen Zwecken, sondern in erster Linie den privaten Interessen der beteiligten Verbände und vor allem ihrer Mitglieder (vgl. das Urteil 2A.408/1990 vom 2. Juli 1991 E. 3b in: ASA 60 S. 623). Dasselbe gilt, wenn zwar der Destinatärskreis im Zweckartikel der Statuten recht weit gefasst ist, faktisch aber nur ein Alleindestinatär besteht und z.B. eine Stiftung nichts anderes als ein Finanzierungsinstrument für die Ausbildungstätigkeiten eines Verbandes ist (vgl. die Urteile 2C_592/2008 vom 2. Februar 2009 E. 4.2 in: StR 64/2009 S. 389; 2C_664/2007 vom 6. März 2008 E. 3.3).
2.2.4. Aus den gleichen Gründen lehnt die Rechtsprechung die Gemeinnützigkeit für die Tätigkeit von politischen Organisationen oder Parteien ab, weil ihre Tätigkeit bezweckt, die Interessen ihrer Mitglieder zu verfolgen (vgl. die Urteile 2C_77/2007 vom 2. April 2009 E. 3.2 in: StR 64/2009 S. 487; 2A.647/2005 vom 7. Juni 2007 E. 3.3, in: StR 62/2007 S. 648). Wenn das für eine religiöse Gemeinschaft zutrifft, kann sie ebenfalls keinen Anspruch auf Steuerbefreiung erheben (vgl. das Urteil 2P.143/1998 vom 8. März 1999 E.6a/bb in: Pra 2001 Nr. 1 S. 1).
2.3. Der Begriff der Gemeinnützigkeit erfordert neben der Tätigkeit im Allgemeininteresse Uneigennützigkeit, d.h. altruistisches Handeln (vgl. das Urteil 2C_484/2015 vom 10. Dezember 2015 E. 5.5.1 in: StR 71/2016 S. 359; siehe auch schon BGE <ref-ruling> E. 3b S. 11) : Vom Verein und seinen Mitgliedern werden in selbstloser Weise Opfer zum allgemeinen Besten erbracht (vgl. die Urteile 2C_484/2015 vom 10. Dezember 2015 E. 5.5.1 in: StR 71/2016 S. 359; 2C_162/2011 vom 17. Oktober 2011 E. 3.3.1 in: StR 67/2012 S. 133; siehe auch schon BGE <ref-ruling> E. 2b S. 9).
2.3.1. Uneigennützigkeit wird in erster Linie dann verneint, wenn Erwerbs- oder Selbsthilfezwecke verfolgt werden bzw. sonstige unmittelbare Eigeninteressen der juristischen Person oder ihrer Mitglieder verknüpft sind (vgl. die Urteile 2C_484/2015 vom 10. Dezember 2015 E. 5.5.1 in: StR 71/2016 S. 359; 2C_251/2012 vom 17. August 2012 E. 2.1 in: StE 2012 B 71.63 Nr. 28; 2A.254/2000 vom 2. April 2001 E. 2c in: ASA 70 S. 294; siehe auch schon <ref-ruling> E. 2b S. 279; BGE <ref-ruling> E. 2b u. 3b S. 9 u. 11; <ref-ruling> E. 2 S. 112). Unternehmerische Zwecke gelten grundsätzlich nicht als gemeinnützig (vgl. das Urteil 2C_162/2011 vom 17. Oktober 2011 E. 3.3.1 in: StR 67/2012 S. 133), ebenso wenig wie eine effektive Tätigkeit, die darin besteht, einen grundsätzlich gewinnorientierten Betrieb zu unterstützen (vgl. die Urteile 2P.104/2002 vom 10. Dezember 2002 E. 3 in: RDAT 2003 I n. 1t pag. 357; A.678/1986 vom 26. Juni 1987 E. in: ASA 57 S. 556).
Wo eine Erwerbstätigkeit besteht, darf sie jedenfalls nicht den eigentlichen Zweck der Institution bilden. Praxis und Doktrin billigen eine Erwerbstätigkeit nur insofern, als der kaufmännischen Tätigkeit - gemessen an der Gesamtheit der von der Institution ausgeübten gemeinnützigen Aktivität - eine blosse Hilfs- und untergeordnete Funktion zukommt (vgl. die Urteile 2C_162/2011 vom 17. Oktober 2011 E. 3.3.1 in: StR 67/2012 S. 133; 2P.173/1998 vom 24. Februar 1999 E. 3a/cc, in: Pra 89/2000 Nr. 167).
2.3.2. Die erforderliche Uneigennützigkeit ist auch dann nicht gegeben, wenn eine Körperschaft sich im Wesentlichen darauf beschränkt, Kapital bzw. unangemessen hohe Reserven anzuhäufen und nur einen sehr kleinen Anteil effektiv für die statutarisch vorgesehenen Zwecke verwendet (vgl. das Urteil 2C_484/2015 vom 10. Dezember 2015 E. 5.5.1 in: StR 71/2016 S. 359; siehe auch das Kreisschreiben Nr. 12 der EStV, Ziff. II/2/d). Die zugunsten der Allgemeinheit zu erbringenden wirksamen Opfer müssen gemessen an den verfügbaren Mitteln bedeutend sein (vgl. u.a. das Urteil 2C_484/2015 vom 10. Dezember 2015 E. 5.5 in: StR 71/2016 S. 359).
2.3.3. Gegen das Erfordernis der Gemeinnützigkeit verstösst es nicht, wenn eine Tätigkeit ohne Entschädigung ausgeübt wird oder nur die Selbstkosten (ohne Gewinnzuschlag) gedeckt werden (vgl. die Urteile 2C_484/2015 vom 10. Dezember 2015 E. 5.5.1 in: StR 71/2016 S. 359; 2C_162/2011 vom 17. Oktober 2011 E. 3.3.1 in: StR 67/2012 S. 133; siehe zudem das Urteil 2C_251/2012 vom 17. August 2012 E. 3.3.1 in: StE 2012 B 71.63 Nr. 28).
2.4. Die Rechtsprechung verlangt, dass das Allgemeininteresse und die Uneigennützigkeit durch die Tätigkeit der steuerbefreiten Körperschaft und deren Mitglieder effektiv erfüllt werden.
Dieses Erfordernis wird regelmässig so wiedergegeben, dass es sich seitens der Körperschaft und ihrer Mitglieder um eine uneigennützige Wirksamkeit handeln muss, bei der zum allgemeinen Besten Opfer erbracht werden (vgl. dazu bereits <ref-ruling> E. 2b S. 279; <ref-ruling> E. 2a S. 9). Damit werden für die erforderliche Erfüllung des Allgemeininteresses und der Uneigennützigkeit die erwähnten generellen Voraussetzungen der Steuerbefreiung (vgl. oben E. 2.1) konkretisiert: die Ausschliesslichkeit der Mittelverwendung, die Unwiderruflichkeit der Zweckbindung und eine tatsächliche Tätigkeit entsprechend dem statutarischen Zweck, d.h. namentlich die überprüfbare Verwirklichung der vorgegebenen Zielsetzung.
2.5. Dafür, dass die Voraussetzungen der Steuerbefreiung erfüllt sind, ist der Pflichtige - wie für steuermindernde Tatsachen allgemein - beweisbelastet (vgl. dazu u.a. <ref-ruling> E. 4.3 S. 158 f.; <ref-ruling> E. 4c/aa S. 266 und 273 E. 3c/aa S. 284 mit Hinweisen; Urteile 2C_164/2013 vom 28. März 2014 E. 3.5 und 2C_1082/2012 vom 25. Oktober 2013 E. 2.3).
3.
In Anwendung von <ref-law> hat das Verwaltungsgericht geurteilt, dass die zuvor gewährte Steuerbefreiung mangels gemeinnütziger Tätigkeit (und insbesondere wegen eines ungenügenden Allgemeininteresses) dem Beschwerdeführer zu Recht entzogen worden sei. Dieser Beurteilung ist im Ergebnis zuzustimmen, wenn auch mit einer unterschiedlichen Begründung (vgl. oben E. 1.3).
3.1. Gemäss Ziff. I. seiner Statuten hat der Verein den gemeinnützigen Zweck, Menschen in Not beizustehen. Dies durch die Gewährung finanzieller Unterstützung an Bedürftige, insbesondere an wirtschaftlich Minderbemittelte (Soforthilfe, Beratung, In- bzw. Reintegration), Kinder, Jugendliche und junge Erwachsene (Integration, Aus- und Weiterbildung). Die Unterstützung erfolgt entweder direkt oder über vertrauenswürdige staatlich anerkannte Einrichtungen. Diese Hilfe soll Menschen unabhängig von Herkunft, Geschlecht oder Nationalität zukommen. Der Verein ist politisch neutral, verfolgt ausschliesslich gemeinnützige Zwecke, unter Ausschluss jeglicher Erwerbs- oder Selbsthilfezwecke.
Die effektive Verfolgung der genannten statutarischen Zwecke kann grundsätzlich zu einer Steuerbefreiung Anlass geben. Es wird aber namentlich näher zu prüfen sein, ob bzw. inwiefern hier von einer solchen effektiven Verfolgung gesprochen werden kann (vgl. dazu unten E. 3.3.2, 3.4.2 u. 3.5.2).
3.2. Die Vorinstanz hat für das Bundesgericht verbindlich festgehalten (vgl. oben E. 1.4), dass der Beschwerdeführer in den hier massgeblichen Perioden 2013 und 2014 einen Teil seiner Einnahmen bzw. verfügbaren Finanzen fünf israelischen Personen in Israel, Frankreich, und Grossbritannien zukommen liess (vgl. E. 3.3 des angefochtenen Urteils, S. 8).
3.2.1. Unbestrittenermassen ist diese Feststellung in dem Sinne zu präzisieren, dass es sich bei den Empfängern nicht um bedürftige oder selbst materielle Not leidende Einzelpersonen handelte, sondern allesamt um jüdisch-israeli (ti) sche Institutionen. Alle haben hebräische Namen und zum grössten Teil (sehr) ähnliche Zielsetzungen wie der Beschwerdeführer; in einem Fall handelt es sich nach den Angaben des Beschwerdeführers um eine Schule.
3.2.2. In Bezug auf den Hauptempfänger der vom Verein in den Jahren 2013 und 2014 ausgerichteten Zuwendungen, ein israelisches Hilfswerk mit Sitz in Grossbritannien, hat die Kantonale Steuerverwaltung festgehalten, dass unter deren statutarischen Zwecken auch die religiöse Erziehung erwähnt wird, d.h. eine kultusbezogene Zielsetzung, die nicht im Allgemeinintersse steht, weil sie nur gegenüber den eigenen Mitgliedern derselben religiösen Zugehörigkeit erteilt wird (vgl. die Stellungnahme der Kantonalen Steuerverwaltung vom 2. Februar 2016; siehe dazu auch oben E. 2.2.4).
3.3. Unter den gegebenen Umständen erübrigt sich, den Entzug der Steuerbefreiung mit der Vorinstanz so zu begründen, dass die Befreiung nur bei genügendem schweizerischem Allgemeininteresse gerechtfertigt und dieses spezifische Interesse hier (bei Zuwendungen an ausschliesslich ausländische Personen in ausnahmslos wirtschaftlich hoch entwickelten Industriestaaten, im Gegensatz z.B. zu Geldern für die Entwicklungshilfe) nicht erfüllt sei. Vielmehr genügt es festzuhalten, dass zwei erforderliche Merkmale der Gemeinnützigkeit nicht erfüllt bzw. nur ungenügend nachgewiesen sind:
3.3.1. Einerseits fehlt es am notwendigen Allgemeininteresse. Das ist nicht nur dann der Fall, wenn eine als gemeinnützig geltend gemachte Tätigkeit einer religiösen Gemeinschaft ausschliesslich den Mitgliedern derselben zugute kommt (vgl. oben E. 2.2.4). Das Gleiche hat zu gelten, wenn - wie hier - die ausbezahlten Mittel nur an einen sehr eng begrenzten Destinatärskreis (vgl. oben E. 2.2.2) von Institutionen derselben religiösen Zugehörigkeit gehen. Dabei kommt es nicht erst darauf an, dass hier teilweise nicht einmal klar ist, ob diese Institutionen die empfangenen Gelder nicht z.B. für Zwecke der religiösen Erziehung verwendet haben (vgl. oben E. 3.2.2). Massgeblich ist bereits der allzu beschränkte Empfängerkreis innerhalb derselben Religion, d.h. in einem der erforderlichen Offenheit zuwiderlaufenden Rahmen.
3.3.2. Andererseits ist unter den gegebenen Umständen eine effektive Gemeinnützigkeit zumindest nicht genügend belegt. An der erforderlichen Effektivität mangelt es nicht nur dann, wenn eine gemeinnützige Nothilfe wohl durch die Statuten vorgesehen, aber in keiner Weise oder nur in ungenügendem Ausmass wirklich ausbezahlt wird (vgl. oben E. 2.1 u. 2.4), z.B. weil die entsprechenden Mittel stattdessen in der Körperschaft angehäuft und gehortet werden (vgl. oben E. 2.3.2). Dasselbe kann der Fall sein, wenn wohl bestimmte Mittel an andere Institutionen ausbezahlt werden, aber - wie hier - zumindest unklar geblieben ist, ob sie von da aus tatsächlich für Not leidende oder sonst hilfsbedürftige Einzelpersonen verwendet wurden, statt dort angehäuft oder wiederum an andere (oder die gleichen) Hilfswerke weitergeleitet zu werden. Dafür war der Beschwerdeführer beweisbelastet (vgl. oben E. 2.5), hat aber den erforderlichen Nachweis in keinem Verfahrensstadium zu erbringen vermocht.
3.4. Die Beurteilung der Vorinstanz erweist sich im Ergebnis auch dann als zutreffend, wenn auf zwei wesentliche zusätzliche Umstände abgestellt wird, die zwar im Verfahren vor dem Verwaltungsgericht überhaupt nicht geprüft worden sind (vgl. oben E. 1.4), aber aufgrund des im erstinstanzlichen Verfahren erfolgten Schriftenwechsels als faktisch gesichert und verfahrensrechtlich korrekt ermittelt zu gelten haben.
3.4.1. Die Zweckbestimmung in den Statuten schliesst die Verfolgung jeglicher Erwerbs- oder Selbsthilfeziele ausdrücklich aus (vgl. oben E. 3.1). Demgemäss sind die Vereinsmitglieder soweit ersichtlich unentgeltlich oder höchstens unter Deckung ihrer Selbstkosten tätig geworden (vgl. oben E. 2.3.3). Nebst den eingegangen Spenden bestehen die Einnahmen des Beschwerdeführers aber zum Wesentlichen aus den Mieterträgen, die ein einziges, vom Verein fremdfinanziert erworbenes Mehrfamilienhaus abwirft. Der Kauf dieses Hauses wurde durch ein Darlehen ermöglicht, das durch zwei unbestritten gebliebene Merkmale gekennzeichnet ist: Zum Einen ist der Darlehensgeber eine Dame, die in der gleichen israelischen Ortschaft wohnt wie die beiden Brüder, die den Beschwerdeführer gegründet und mit beträchtlichen Spenden finanziert haben. Zum Anderen ist das Darlehen mit nicht weniger als 10% verzinst.
Gegenüber den Feststellungen der kantonalen Steuerverwaltung hat der Beschwerdeführer bloss eingewendet, dass ein solches Darlehen nun einmal verzinst werden müsse und der Wohnort der Kreditgeberin ohne Belang sei. In Wirklichkeit ist diese Darlehensverzinsung - weit über einem noch als marktüblich hinzunehmenden Prozentsatz und zugunsten einer offensichtlich nahe stehenden Gläubigerin - schon für sich allein geeignet, der Mittelverwendung des Vereins die Uneigennützigkeit und somit die Berechtigung zur Steuerbefreiung abzusprechen (vgl. dazu oben E. 2.3.1).
3.4.2. Der zweite wesentliche Umstand, der zusätzlich zu berücksichtigen ist, liegt in der Art und Weise, wie die beiden Brüder mit Wohnsitz in Israel den Beschwerdeführer gegründet und ihm gegenüber auch beträchtliche Spenden getätigt haben (vgl. dazu schon oben E. 3.4.1).
Dieselben Brüder haben noch einen weiteren Verein im Kanton Schaffhausen gegründet und auch diesem bedeutende Mittel zukommen lassen; dieser Verein lautet ähnlich wie der Beschwerdeführer und verfolgt statutengemäss ungefähr dieselben Ziele. Mehr noch: Der Schaffhauser Verein liess dem Beschwerdeführer im Jahr 2014 insgesamt Fr. 111'000.-- zukommen.
In Bezug auf das erforderliche Allgemeininteresse ergibt sich daraus nichts, was zu einer unterschiedlichen Beurteilung führen müsste: Es geht dabei nicht um ausgerichtete, sondern um erhaltene Zuwendungen. Allenfalls verstärkt sich noch der Eindruck, dass die Mittel gegenüber einem sehr begrenzten Empfängerkreis und in einem ungenügend offenen Rahmen flossen.
Der Umstand ermöglicht es dem Beschwerdeführer zudem in keiner Weise, den ihm obliegenden Beweis einer tatsächlichen Hilfe zugunsten Not leidender Einzelpersonen zu erbringen. Stattdessen wird nur eine weitere Stufe von Mittelverschiebungen zwischen gleichartigen und sich gegenseitig offensichtlich nahe stehenden Hilfswerken aufgezeigt, unter denen zwar beträchtliche Geldsummen hin und her flossen, ohne dass sich daraus aber nachweislich auf ein wirkliches gemeinnütziges Tätigwerden schliessen liesse.
3.5. Was der Beschwerdeführer zugunsten einer weiterhin zu gewährenden Steuerbefreiung vorbringt, vermag ein anderes Ergebnis nicht zu rechtfertigen.
3.5.1. Unzutreffend ist namentlich die Einwendung, gegenüber dem Verein werde ein zu enges und gesetzwidriges Verständnis des Allgemeininteresses zugrunde gelegt. Es erübrigt sich, diesbezüglich weiter auf die vorinstanzlichen Erwägungen einzugehen, weil hier dasselbe Ergebnis auf einer anderen Begründung beruht (vgl. oben E. 3.3.1).
3.5.2. Ebenfalls nicht gefolgt werden kann der Argumentation, der Verein habe in den hier massgeblichen beiden Perioden nur beschränkte Zuwendungen ausgerichtet; angesichts dieser Beschränkung mache es Sinn, mit einer begrenzten Anzahl von Institutionen als Empfänger der zugewendeten Gelder zu arbeiten. Es bestehe keine Pflicht, einer Vielzahl von Organisationen jeweils (sehr) kleine Geldbeträge zukommen zu lassen.
Nun ist dem Beschwerdeführer die Steuerbefreiung nicht deshalb zu entziehen, weil er seine Zuwendungen nur wenigen Empfängern zukommen liess, sondern weil es diesem sehr begrenzten Empfängerkreis an der notwendigen Offenheit fehlte und die Mittelverschiebungen zwischen den Institutionen so erfolgten, dass eine effektiv getätigte Gemeinnützigkeit zumindest nicht genügend belegt war.
3.5.3. Unbegründet ist schliesslich der Einwand, der Widerruf der zuvor endgültig gewährten Befreiung verstosse gegen das Gebot von Treu und Glauben sowie gegen das Rückwirkungsverbot.
Die Steuerbefreiung mit dem Entscheid vom 4. März 2014 erfolgte, nachdem am 17. Januar 2013 zunächst eine befristete Steuerbefreiung bis zum Vorliegen der ersten Jahresrechnung gewährt worden war Der Entscheid hielt in Ziff. 4 fest, dass jeweils bis spätestens neun Monate nach Abschluss des Geschäftsjahres die Jahresrechnung der Finanzbehörde einzureichen ist, damit die Weitergewährung der Steuerbefreiung überprüft werden kann.
Der angefochtene Entscheid interpretiert dies dahin, dass aufgrund der Jahresrechnung eine Überprüfung für diejenige Steuerperiode möglich ist, für welche die Jahresrechnung eingereicht worden ist. Unter Treu und Glauben ist das nicht zu beanstanden, da die Behörde lediglich anhand der Zahlungsvorgänge prüfen kann, ob die Gemeinnützigkeit noch gegeben ist.
Nach dem vorinstanzlichen Entscheid wurde die Steuerbefreiung aufgrund der Jahresrechnung 2014 aufgehoben mit Wirkung ab 31. Dezember 2013. Der Entscheid versteht dies dahin, dass die Aufhebung für die Periode 2014 Wirkung entfaltet, nicht aber schon für 2013. Damit ist aber kein Widerruf für die Periode 2013 erfolgt, sondern ist die Steuerbefreiung für die Periode 2014 aufgehoben worden. Das ist aufgrund der Jahresrechnung 2014 geschehen, für die der Verein wissen musste, dass eine Überprüfung erfolgen würde. Somit ist hier weder der Grundsatz von Treu und Glauben noch das Rückwirkungsverbot verletzt worden.
III. Kantons- und Gemeindesteuern
4.
Die für die Staatssteuer anwendbaren Vorschriften (vgl. Art. 23 Abs. 1 lit. f StHG und § 75 Abs. 1 Ziff. 7 des Gesetzes des Kantons Thurgau vom 14. September 1992 über die Staats- und Gemeindesteuern [Steuergesetz; StG/TG; RB 640.1]) stimmen in den hier massgeblichen Punkten mit denjenigen zur direkten Bundessteuer überein. Das führt auch diesbezüglich dazu, dass die Beurteilung des Verwaltungsgerichts im Ergebnis zu bestätigen ist.
IV. Kostenfolgen
5.
Nach dem Gesagten ist die Beschwerde abzuweisen und wird der Beschwerdeführer kostenpflichtig (vgl. Art. 65 f. BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird betreffend die direkte Bundessteuer abgewiesen.
2.
Die Beschwerde wird betreffend die Kantons- und Gemeindesteuern abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird dem Beschwerdeführer, dem Departement für Finanzen und Soziales des Kantons Thurgau und dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 21. März 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter