Sachverhalt:
A. Der am 7. Juni 1998 geborene S._ leidet an einer Sprachstörung, weshalb ihm die IV-Stelle des Kantons Thurgau mit Verfügungen vom 20. Juli 2005 und 5. Juli 2007 für die Zeit vom 1. August 2005 bis 31. Juli 2008 Sonderschulmassnahmen gewährte. Wegen einer rezidivierenden psychosozialen Dekompensation mit Wutanfällen und Vergiftungsunterstellungen blieb S._ vom 13. bis 22. August 2008 im Spital M._ hospitalisiert. Ab September 2008 behandelte ihn die Psychotherapeutin G._ welche gemäss Bericht vom 14./18. April 2009 zusammen mit Dr. med. H._ die bereits früher festgestellten sprachlichen und motorischen Teilleistungsstörungen bestätigte und zusätzlich ein Asperger-Syndrom (F84.5 nach ICD-10) sowie eine Aufmerksamkeitsstörung diagnostizierte. Am 11. März 2009 liess S._ durch seine Mutter die IV-Stelle um Übernahme der Kinder-Psychotherapie als medizinische Massnahme ersuchen. Nach medizinischen Abklärungen und Durchführung des Vorbescheidverfahrens lehnte die IV-Stelle die Übernahme der Psychotherapie mit Verfügung vom 9. September 2009 sowohl gestützt auf <ref-law> (allgemeiner Anspruch auf medizinische Massnahmen) als auch im Rahmen von <ref-law> (Anspruch auf medizinische Massnahmen bei Geburtsgebrechen) ab.
B. Die hiegegen erhobene Beschwerde des S._ wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 27. Januar 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ unter Aufhebung des angefochtenen Gerichtsentscheids und der Verfügung der IV-Stelle vom 9. September 2009 die Übernahme der Psychotherapie als medizinische Massnahme im Sinne von Art. 12 bzw. 13 IVG zu Lasten der Invalidenversicherung beantragen. Eventualiter sei die Angelegenheit zu weiteren Abklärungen an die Vorinstanz zurückzuweisen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140); es prüft grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1.4.1 S. 254; Urteil 8C_608/2009 vom 12. August 2009 E. 1).
2. 2.1 Das kantonale Gericht hat die Rechtsgrundlagen zum Anspruch auf medizinische Massnahmen der Invalidenversicherung im Allgemeinen (<ref-law>) und - im Besonderen - zur Behandlung von Geburtsgebrechen (<ref-law>), zum Begriff der Geburtsgebrechen (<ref-law>; Art. 1 Abs. 1 Sätze 1 und 2 GgV), namentlich zum infantilen Autismus (Ziff. 401 GgV Anhang in der zum 31. Dezember 2009 aufgehobenen Fassung) und zur Aufmerksamkeitsstörung (Ziff. 404 GgV Anhang) zutreffend dargelegt. Gleiches gilt für die Ausführungen zu der hinsichtlich Autismusspektrumstörungen (bis zum 31. Dezember 2009 in Ziff. 401 GgV Anhang geregelt; vgl. dazu nunmehr Ziff. 405 GgV Anhang, in Kraft seit 1. Januar 2010) ergangenen Rechtsprechung (Urteil des Eidg. Versicherungsgerichts I 302/05 vom 31. Oktober 2005 E. 2.2) sowie zur Bestimmung der Invalidität bei nicht erwerbstätigen Personen vor dem vollendeten 20. Altersjahr (zu <ref-law> und <ref-law>) und der entsprechenden Praxis (insbesondere <ref-ruling> E. 4.2 S. 21 mit Hinweisen). Darauf wird verwiesen.
2.2 Korrekt ist sodann, dass eine therapeutische Vorkehr, deren Wirkung sich in der Unterdrückung von Symptomen erschöpft, nicht als medizinische Massnahme im Sinne des <ref-law> gelten kann, selbst wenn sie im Hinblick auf die schulische und erwerbliche Eingliederung unabdingbar ist. Denn eine solche dient weder der Herbeiführung eines stabilen Zustandes, in welchem vergleichsweise erheblich verbesserte Voraussetzungen für die spätere Ausbildung und Erwerbsfähigkeit bestehen, noch ändert sie etwas am Fortdauern eines labilen Krankheitsgeschehens und dient dementsprechend nicht der Verhinderung eines stabilen pathologischen Zustandes. Deswegen genügt eine günstige Beeinflussung der Krankheitsdynamik allein nicht, wenn eine spontane, nicht kausal auf die therapeutische Massnahme zurückzuführende Heilung zu erwarten ist, oder wenn die Entstehung eines stabilen Defekts mit Hilfe von Dauertherapie lediglich hinausgeschoben werden soll (SVR 2008 IV Nr. 16 S. 46, I 501/06 E. 5.2). Ein Zustand, der sich nur dank therapeutischer Massnahmen einigermassen im Gleichgewicht halten lässt, ist keine stabile Folge von Krankheit, Unfall oder Geburtsgebrechen. Ein solcher Zustand ist zwar, solange er im Gleichgewicht bewahrt werden kann, stationär, nicht aber im Sinne der Rechtsprechung stabil (AHI 1999 S. 127 f., I 115/98 E. 2d). Um eine von der Invalidenversicherung nicht zu übernehmende Behandlung des Leidens an sich geht es somit in der Regel bei der Heilung oder Linderung eines labilen pathologischen Geschehens. Eine Psychotherapie bei Minderjährigen kann von der Invalidenversicherung nur übernommen werden, wenn sie keinen Dauercharakter hat, also nicht - wie dies etwa bei Schizophrenien oder manisch-depressiven Psychosen zutrifft - zeitlich unbegrenzt erforderlich sein wird (Urteile 9C_424/2008 vom 30. Dezember 2008 E. 3.2, I 302/05 vom 31. Oktober 2005 E. 3.2.1).
3. 3.1 Gemäss angefochtenem Entscheid haben die behandelnde Psychologin G._ und die Hausärztin Dr. med. H._ erstmals mit Bericht vom 14./18. April 2009 ein Asperger-Syndrom und eine Aufmerksamkeitsstörung im Sinne der Geburtsgebrechen von Ziff. 401 und 404 GgV Anhang diagnostiziert. Damals sei der Versicherte bereits in seinem 11. Lebensjahr gestanden. Die Diagnosestellung sei somit eindeutig zu spät erfolgt, um eines der genannten Geburtsgebrechen zu bejahen. Ebenso wenig könne gesagt werden, dass krankheitsspezifische Symptome früher erkannt worden seien, weil dies ohne Zweifel auch zur entsprechenden Diagnosestellung geführt hätte. Aus den weiteren, mit der Beschwerde eingereichten Unterlagen ergebe sich nichts anderes. Es bestehe auch kein Anspruch auf medizinische Massnahmen gestützt auf <ref-law>, weil die fragliche Psychotherapie als Dauerbehandlung zu verstehen sei und nicht in erster Linie der Eingliederung ins Erwerbsleben diene.
3.2 Der Beschwerdeführer macht demgegenüber geltend, das kantonale Gericht habe Bundesrecht verletzt, indem es mit Blick auf beide Geburtsgebrechen im Sinne der Ziff. 401 und 404 GgV Anhang gleichermassen von einer verspäteten Diagnosestellung des Asperger-Syndroms erst im Jahre 2009 ausgegangen sei, obwohl nicht nur nach der hier anwendbaren (<ref-ruling> E. 1 S. 11 mit Hinweisen zu den in zeitlicher Hinsicht massgebenden Rechtssätzen), bis zum 31. Dezember 2009 gültig gewesenen Ziff. 401 GgV Anhang, sondern auch nach der seit 1. Januar 2010 in Kraft stehenden Ziff. 405 GgV Anhang vor Vollendung des fünften Altersjahres einzig die Erkennbarkeit des Leidens im Sinne einer Autismusspektrumstörung vorausgesetzt sei. Die Vorinstanz habe die neu eingereichten Berichte der behandelnden Logopädinnen vom 12. April 2001 und vom 8. Juli 2002 sowie den Bericht des Kinderarztes Dr. med. U._ vom 19. September 2001, welche alle den massgebenden, bis zum 7. Juni 2003 verwirklichten Sachverhalt betreffen (vgl. <ref-ruling> E. 1 S. 11 mit Hinweisen), willkürlich nicht gewürdigt. Das kantonale Gericht sei mit Blick auf die Bedeutung der neu eingereichten Berichte für die Erkennbarkeit des Asperger-Syndromes vor Vollendung des fünften Altersjahres zumindest gehalten gewesen, dazu eine medizinische Fachauskunft einzuholen. Unabhängig von der Übernahme der Psychotherapie im Rahmen des zu anerkennenden Geburtsgebrechens im Sinne von Ziff. 401 GgV Anhang bestehe der entsprechende Anspruch auf diese medizinische Massnahme auch nach <ref-law>.
4. Fest steht und von keiner Seite in Frage gestellt wird, dass der Versicherte an den Folgen des Asperger-Syndroms leidet (vgl. zum klinischen Beschwerdebild: Urteil des früheren Eidg. Versicherungsgerichts I 302/05 vom 31. Oktober 2005 E. 2.2.2). Zudem haben die behandelnde Psychologin G._, die Hausärztin Dr. med. H._ und der Psychiater Dr. med. A._ mit Bericht vom 14. April 2009 übereinstimmend die Geburtsgebrechen im Sinne der Ziff. 401 und 404 GgV Anhang bejaht. Der Beschwerdeführer anerkennt jedoch letztinstanzlich, dass vor Vollendung des neunten Altersjahres (also hier bis zum 7. Juni 2007) keine Aufmerksamkeitsstörung im Sinne von Ziff. 404 GgV Anhang diagnostiziert und auch bereits behandelt worden wäre, weshalb diese Anspruchsgrundlage vor Bundesgericht zu Recht nicht mehr geltend gemacht wird.
5. Der Versicherte beansprucht medizinische Massnahmen zur Behandlung eines frühkindlichen Autismus hier in der Form des Asperger-Syndroms. Strittig und nachfolgend zu prüfen sind die vorinstanzlich bestätigte Verneinung des Geburtsgebrechens im Sinne von Ziff. 401 GgV Anhang sowie die ebenfalls geschützte Ablehnung des Anspruchs auf Übernahme der Psychotherapie als medizinische Eingliederungsmassnahme gemäss <ref-law>.
5.1 Vorweg ist die Frage zu beantworten, ob das kantonale Gericht und die Beschwerdegegnerin zu Recht ein Geburtsgebrechen im Sinne von Ziff. 401 GgV Anhang verneint haben.
5.1.1 Notwendige medizinische Massnahmen zur Behandlung des Geburtsgebrechens sind von der Invalidenversicherung zu übernehmen (<ref-law>), wenn das Leiden im Falle der hier zur Diskussion stehenden Ziff. 401 GgV Anhang bis zum vollendeten fünften Lebensjahr, bei S._ also bis zum 7. Juni 2003, erkennbar wird. Somit ist zu prüfen, ob bis zu diesem Zeitpunkt hinreichend bestimmte Anhaltspunkte für eine autistische Störung vorlagen, so dass davon ausgegangen werden kann, diese sei bereits als solche erkennbar gewesen (Urteil des Eidg. Versicherungsgerichts I 302/05 vom 31. Oktober 2005 E. 2 Ingress).
5.1.2 Der Beschwerdeführer rügt, die IV-Stelle und das kantonale Gericht hätten in Verletzung von Bundesrecht auf eine Differenzierung zwischen den unterschiedlichen Voraussetzungen der Anerkennung von Geburtsgebrechen im Sinne von Ziff. 401 und 404 GgV Anhang verzichtet. Im Falle von Ziff. 401 GgV Anhang sei nicht die Diagnosestellung bis zum vollendeten fünften Lebensjahr erforderlich, sondern es genüge vielmehr, wenn bis zu diesem Zeitpunkt das entsprechende Leiden erkennbar werde.
Verwaltung und Vorinstanz haben ihren Standpunkt in tatsächlicher Hinsicht auf die Angaben des Regionalen Ärztlichen Dienstes der Invalidenversicherung (RAD) abgestützt. Dieser hat in der Stellungnahme vom 18. August 2009 dargelegt, dass aus der Anamnese keine eindeutigen und objektiven Anhaltspunkte hervorgehen, welche schon vor Vollendung des fünften Altersjahres des Versicherten für die erkennbare Manifestierung einer Symptomatik im Sinne eines Leidens gemäss Ziff. 401 GgV Anhang sprachen. Weder der Bericht der Psychologin G._ und des Psychiaters Dr. med. A._ vom 14. April 2009 noch die im vorinstanzlichen Verfahren neu eingereichten Unterlagen der behandelnden Logopädinnen vom 12. April 2001 und 8. Juli 2002 sowie des Kinderarztes Dr. med. U._ vom 19. September 2001 lassen darauf schliessen, dass die Vorinstanz den Sachverhalt mit Blick auf die Frage nach der bis zum vollendeten fünften Lebensjahr vorausgesetzten Erkennbarkeit krankheitsspezifischer Symptome einer Autismusspektrumstörung nach Ziff. 401 GgV Anhang in tatsächlicher Hinsicht offensichtlich unrichtig oder unvollständig festgestellt hätte (vgl. <ref-law>), was der Beschwerdeführer im Übrigen zu Recht auch nicht behauptet.
5.1.3 Zwar dürfen angesichts des in der medizinischen Lehre beschriebenen Zustands- und Verlaufsbildes des Asperger-Syndroms keine allzu hohen Anforderungen an die Erkennbarkeit dieser Störung innert der in Ziff. 401 GgV Anhang festgelegten Altersgrenze gestellt werden, denn die Beziehungsstörung setzt in der Regel nicht so früh wie beim frühkindlichen Autismus ein und erreicht zudem nicht denselben Schweregrad; die Sozialentwicklung dieser Kinder wird denn auch mehrheitlich erst im Schulalter problematisch. Doch können auch andere Entwicklungsstörungen, etwa die beim Versicherten ebenfalls diagnostizierte Aufmerksamkeitsstörung, zu vergleichbaren Erscheinungen führen (vgl. Urteil des Eidg. Versicherungsgerichts I 302/05 vom 31. Oktober 2005 E. 2.2.2 mit Hinweis).
Entgegen dem Beschwerdeführer ist nicht ersichtlich, dass das kantonale Gericht die Beweise willkürlich gewürdigt und insbesondere die neu eingereichten Unterlagen überhaupt nicht berücksichtigt hätte. Vielmehr hat die Vorinstanz zutreffend erkannt, dass sich auch in den echtzeitlich vor Vollendung des fünften Lebensjahres erhobenen Befunden zum Gesundheitszustand des Versicherten keine eindeutigen und objektiven Anhaltspunkte finden, welche mit dem im Sozialversicherungsrecht erforderlichen Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 5b S. 360 mit Hinweisen) erkennbar auf die krankheitsspezifische Symptomatik im Sinne von Ziff. 401 GgV Anhang schliessen liesse. Insbesondere mit Blick auf das prinzipale Kennzeichen des Asperger-Syndroms - nämlich eine Störung der Beziehungsfähigkeit (Urteil des Eidg. Versicherungsgerichts I 302/05 vom 31. Oktober 2005 E. 2.2.2 mit Hinweis) - sind den im vorinstanzlichen Verfahren neu eingereichten Unterlagen keine aussagekräftigen Hinweise zu entnehmen, welche für das Bestehen eines solchen Leidens sprächen. Angesichts des langjährigen und bereits seit dem zweiten Lebensjahr anhaltenden Verlaufs von Abklärungen der Auffälligkeiten in der frühkindlichen Entwicklung des Beschwerdeführers und einer eingehenden fachmedizinischen Untersuchung während eines gut einwöchigen stationären Aufenthaltes in der Klinik M._ vom August 2008 ist nicht davon auszugehen, dass der spezifische Befund einer Autismusspektrumstörung schon im Juni 2003 erkennbar war, wenn die Diagnose - selbst retrospektiv - nur mit Schwierigkeiten und erst mehr als fünf Jahre nach Vollendung des fünften Altersjahres gestellt werden konnte (Urteil des Eidg. Versicherungsgerichts I 302/05 vom 31. Oktober 2005 E. 2.2.1 i.f.).
5.1.4 Nach dem Gesagten hat das kantonale Gericht - ohne das Willkürverbot zu verletzen - rechtsfehlerfrei festgestellt, dass ein Geburtsgebrechen im Sinne von Ziff. 401 GgV Anhang mangels Erkennbarkeit eindeutiger und objektiver krankheitsspezifischer Symptome bis zum vollendeten fünften Altersjahr nicht gegeben ist. Es hat folglich zu Recht bestätigt, dass gestützt auf <ref-law> kein Anspruch auf Übernahme der ab September 2008 durchgeführten Kinder-Psychotherapie besteht.
5.2 Nachfolgend bleibt zu prüfen, ob Verwaltung und Vorinstanz zu Recht auch einen Anspruch auf medizinische Massnahmen im Sinne von <ref-law> verneint haben.
5.2.1 Die Psychotherapie ist bei einem Kind im Rahmen eines Asperger-Syndroms - entgegen der vom RAD sinngemäss vertretenen Auffassung - nicht zwingend als reine Leidensbehandlung zu qualifizieren und somit von der Übernahme als medizinische Massnahme im Sinne von <ref-law> nicht grundsätzlich ausgeschlossen (vgl. Urteil des Eidg. Versicherungsgerichts I 302/05 vom 31. Oktober 2005 E. 3). Zur Beantwortung der Frage, ob bei labilen Gesundheitsverhältnissen mittels medizinischer Massnahmen einem Defektzustand vorgebeugt werden kann, welcher die Berufsbildung oder Erwerbsfähigkeit voraussichtlich erheblich beeinträchtigen würde, bedarf es im Allgemeinen eines fachärztlichen Berichts, welcher sich nicht mit einem pauschalen Hinweis auf die mögliche Verbesserung oder Erhaltung von Berufs- und Erwerbsfähigkeit begnügen darf, sondern sich auch ausdrücklich zur Prognose zu äussern hat (vgl. Urteil des Eidg. Versicherungsgerichts I 302/05 vom 31. Oktober 2005 E. 3.3 mit Hinweisen). Ein stabiler Defektzustand kann bereits dann zu befürchten sein, wenn das Gebrechen den Verlauf einer prägenden Phase der Kindesentwicklung derart nachhaltig stört, dass letztlich ein uneinholbarer Entwicklungsrückstand eintritt, welcher wiederum die Bildungs- und mittelbar auch die Erwerbsfähigkeit beeinträchtigt. In diesem Sinne genügt es, wenn Psychotherapie einen psychischen oder psychosozialen Entwicklungsschritt ermöglicht, der seinerseits die Grundlage für den Erwerb wichtiger Fertigkeiten bildet, deren Fehlen sich später als ein nicht mehr korrigierbarer Defekt darstellen würde (Urteil des Eidg. Versicherungsgerichts I 302/05 vom 31. Oktober 2005 E. 3.2.3).
5.2.2 Ein fachärztlicher Bericht, welcher diese Frage (vgl. E. 5.2.1 hievor) nach der Eingliederungswirksamkeit und Prognose der anbegehrten Vorkehr - gegebenenfalls auch bei labilen Gesundheitsverhältnissen - ausdrücklich, nachvollziehbar und schlüssig beantwortet, findet sich nicht bei den Akten. Soweit der Beschwerdeführer im August 2008 das dritte Schuljahr in der Sprachheilschule Y._ antrat, bestand laut Bericht der behandelnden Psychotherapeutin G._ und des Psychiaters Dr. med. A._ vom 14. April 2009 die günstige Prognose, dass der Versicherte mit der angezeigten therapeutischen Begleitung sowie in einem guten familiären und schulischen Umfeld in die Regelschule übertreten sowie seine Stärken für die berufliche und persönliche Weiterentwicklung nutzen könne. Trotz dieser medizinischen Beurteilung schloss das kantonale Gericht übereinstimmend mit der nicht nachvollziehbar begründeten Auffassung des RAD (vgl. E. 5.2.1), die Psychotherapie sei in erster Linie als Leidensbehandlung zu qualifizieren und diene nicht in erster Linie der Eingliederung ins Erwerbsleben, weshalb diese Massnahme von der Invalidenversicherung auch im Rahmen von <ref-law> nicht zu übernehmen sei.
5.2.3 Indem die Vorinstanz basierend auf der unvollständigen Sachverhaltsfeststellung der Beschwerdegegnerin von einer "offenbar nur zu Hause" bestehenden Behandlungsbedürftigkeit des Leidens ausging und der Eingliederungswirksamkeit der therapeutischen Vorkehr - trotz gegenteiliger Anhaltspunkte - nur sekundäre Bedeutung beimass, hat sie in Verletzung des Untersuchungsgrundsatzes (vgl. <ref-law> und <ref-law>) und somit bundesrechtswidrig (Urteil 8C_53/2010 vom 26. Mai 2010 E. 2.3 mit Hinweisen) auf die Einholung einer fachärztlich begründeten Beurteilung der anbegehrten Vorkehr im Lichte von <ref-law> (E. 5.2.1) verzichtet. Die IV-Stelle, an welche die Sache zur weiteren Abklärung zurückzuweisen ist, wird die Akten im Sinne der Erwägungen ergänzen und hernach über die geltend gemachte Übernahme der Psychotherapie ab September 2008 unter dem Titel von <ref-law> neu verfügen.
6. Dem Ausgang des Verfahrens entsprechend hat die IV-Stelle die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>: vgl. <ref-ruling> E. 6.1 S. 235; Urteil 8C_671/2007 vom 13. Juni 2008 E. 4.1).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 27. Januar 2010 und die Verfügung der IV-Stelle des Kantons Thurgau vom 9. September 2009 werden aufgehoben, soweit damit ein Anspruch auf medizinische Massnahmen im Sinne von <ref-law> verneint wurde. Die Sache wird an die IV-Stelle des Kantons Thurgau zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den allfälligen Anspruch auf Übernahme der Kinder-Psychotherapie ab September 2008 als medizinische Massnahmen im Sinne von <ref-law> neu verfüge. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Thurgau zurückgewiesen.
5. Diese Verfügung wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. August 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Hochuli