Sachverhalt: A. Die 2001 geborene K._ leidet unter einer frühkindlichen Fütter- und Essstörung bei primärer Microzephalie unklarer Ätiologie und ASD II, Mitralklappenspalt und leichter Tricuspidalinsuffizienz (IV-Arztbericht über medizinische Massnahmen des Kinderspitals S._ von Ende 2008). Sie bezog deswegen verschiedene Leistungen der Invalidenversicherung. So wurde ihr wegen der Fütter- und Essstörung eine PEG-Sonde (perkutane endoskopische Gastrostomie zur künstlichen Ernährung) implantiert und im November 2008 wieder entfernt. Die Invalidenversicherung übernahm gemäss Verfügung der IV-Stelle des Kantons Thurgau vom 20. Januar 2003 für die Zeit vom 28. Juni 2001 bis 30. Juni 2011 die Behandlung des Geburtsgebrechens Nr. 381 einschliesslich der ärztlich verordneten Behandlungsgeräte und einer orofazialen Therapie (Behandlung der Störung der Muskelkoordination im Mund- und Gesichtsbereich). Ebenfalls mit Verfügung vom 20. Januar 2003 erteilte sie Gutsprache für die Übernahme der Kosten für heilpädagogische Früherziehung ab 15. Juni 2002 bis 30. September 2006. Hingegen lehnte sie trotz Einwänden der Swica Krankenversicherung (als OKP-Versicherer von K._; vom 11. März 2009) und der Jugendmedizinischen Klinik des Kinderspitals S._ (gemeinsam mit der Mutter der Patientin; vom 16. März 2009) mit Verfügung vom 25. Mai 2009 das Gesuch um Übernahme einer Psychotherapie zur Verbesserung des Essverhaltens und zur Sondenentwöhnung ab, weil es an einer entsprechenden Indikation fehle. B. Die Swica Krankenversicherung erhob Beschwerde mit dem Antrag, die Invalidenversicherung sei unter Aufhebung der Verfügung vom 25. Mai 2009 zu verpflichten, wegen des anerkannten Geburtsgebrechens für die Psychotherapie aufzukommen. Mit Entscheid vom 28. Oktober 2009 hiess das Verwaltungsgericht des Kantons Thurgau die Beschwerde gut; es hob die Verfügung auf und wies die IV-Stelle an, die Psychotherapie von K._ am Kinderspital S._ zur Verbesserung des Essverhaltens und zur Sondenentwöhnung zu übernehmen. C. Mit Verwaltungsgerichtsbeschwerde beantragt das Amt für AHV und IV des Kantons Thurgau für die IV-Stelle die Aufhebung des Gerichtsentscheides vom 28. Oktober 2009.