Sachverhalt:
A. A.a Der 1973 geborene N._ meldete sich im September 2005 bei der Invalidenversicherung an und beantragte unter anderem Umschulung. Am 7. September 2006 verfügte die IV-Stelle des Kantons Thurgau die Übernahme der Kosten der Ausbildung für ... beim Zentrum X._ ab diesem Zeitpunkt bis 5. Juni 2007 und eines Praktikums vom 15. Juni bis 14. Dezember 2007. Mit Verfügung vom 6. Oktober 2006 setzte sie das Taggeld in der Höhe der Grundentschädigung (Fr. 150.40) fest. Anfang Juni 2007 schloss N._ den Lehrgang mit dem Bürofachdiplom VSH ab. Die Ostschweizerische Ausgleichskasse für Handel und Industrie richtete bis 5. Juli 2007 Taggelder aus.
A.b Nach Beendigung der Ausbildung beim Zentrum X._ beantragte N._ von der Invalidenversicherung Leistungen für eine auf dem bestandenen Handelskurs aufbauende KV-Ausbildung. Daneben bemühte er sich um eine Praktikumsstelle. Mit Schreiben vom 30. August 2007 ersuchte sein Rechtsvertreter unter anderem um die Weiterausrichtung von Taggeldleistungen. Mit zwei Schreiben vom 1. und 4. Oktober 2007 sodann wurde die Nachzahlung der Wartetaggelder für die Zeit nach dem Schulbesuch beantragt und gleichzeitig mitgeteilt, der Versicherte habe ab 1. November 2007 eine Praktikumsstelle bei der Firma Y._ AG. Mit Schreiben vom 18. Dezember 2007 gelangte der Rechtsvertreter von N._ erneut an die IV-Stelle. Er wies darauf hin, dass sein Mandant auf Grund der Verfügungen vom 7. September und 6. Oktober 2006 Anspruch auf Wartetaggeldleistungen bis 31. Oktober 2007 und auf ein Taggeld während des Praktikums vom 1. November 2007 bis 30. April 2008 habe. Er ersuche um Auszahlung der Leistungen bis Ende 2007, ansonsten eine Rechtsverzögerungsbeschwerde ins Auge gefasst werden müsse. In einem weiteren Schreiben vom 27. Januar 2008 wurde darauf hingewiesen, der Versicherte sei gezwungen, Sozialleistungen zu beziehen. Es wurde um eine Besprechung der Lage ersucht. Eine solche fand in der Folge nicht statt. Mit Schreiben vom 10. April 2008 wurde erneut um Durchführung eines Gesprächs zur Klärung der Sachlage und der undurchschaubaren internen Zuständigkeitsproblematik bei der IV-Stelle ersucht. Nach Einsichtnahme in die Akten ersuchte der Rechtsvertreter von N._ mit Scheiben vom 23. Mai 2008 letztmals bis Ende Monat um Erlass der längst anstehenden und versprochenen Verfügungen betreffend berufliche Massnahmen, ansonsten beim Gericht Rechtsverzögerungsbeschwerde erhoben werde.
B. Am 20. Juni 2008 liess N._ beim Verwaltungsgericht des Kantons Thurgau als Versicherungsgericht eine Rechtsverzögerungs- und Rechtsverweigerungsbeschwerde einreichen und die Ausrichtung von Wartetaggeldern für die Zeit vom 13. September 2005 bis 3. September 2006 und vom 2. Juli bis 31. Oktober 2007 sowie von Taggeldern für die Zeit vom 1. November 2007 bis 30. April 2008, ferner den Erlass einer Verfügung bezüglich der weitergehenden Umschulung beantragen, unter Gewährung der unentgeltliche Prozessführung.
Am 24. Juni 2008 machte die IV-Stelle in Ergänzung der «Mitteilung des Beschlusses vom 07.09.2006 und 25.09.2006!!» der Ausgleichskasse Ostschweizer Handel die für die Festsetzung des Taggeldes für die Praktikumszeit vom 1. November 2007 bis 30. April 2008 erforderlichen Angaben. Am 24. Juni 2008 erliess sie sodann mehrere Vorbescheide, mit welchen sie die Kosten für die Ausbildung vom 14. August 2006 bis 5. Juni 2007 sowie das später erfolgte Praktikum vom 1. November 2007 bis 30. April 2008 übernahm, hingegen den Anspruch auf ein Wartetaggeld für die Zeit zwischen Ausbildung und Praktikum ebenso wie den Anspruch auf weitere berufliche Massnahmen (Umschulung zum technischen Kaufmann) verneinte.
Mit Entscheid vom 27. August 2008 schrieb das Verwaltungsgericht des Kantons Thurgau als Versicherungsgericht die Beschwerde als gegenstandslos geworden am Protokoll ab (Dispositiv-Ziffer 1) und wies das Gesuch um unentgeltliche Rechtsvertretung ab (Dispositiv-Ziffer 3).
C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, die Vorinstanz sei zu verpflichten, die Rechtsverzögerungs/Rechtsverweigerungsbeschwerde materiell zu behandeln, dies «unter Kosten- und Entschädigungsfolge».
Die IV-Stelle beantragt die Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Rechtsverweigerung oder Rechtsverzögerung kann Gegenstand einer Beschwerde an das zuständige kantonale Versicherungsgericht bilden (<ref-law>; <ref-ruling>). Gegen Entscheide der kantonalen Versicherungsgerichte über Rechtsverweigerungs- und Rechtsverzögerungsbeschwerden kann nach Massgabe des Bundesgerichtsgesetzes vom 17. Juni 2005 beim Bundesgericht Beschwerde geführt werden (<ref-law>; Art. 82 lit. a, 86 Abs. 1 lit. d und <ref-law>).
2. Der Beschwerdeführer rügt, das kantonale Gericht habe es unterlassen, die Frage der Rechtsverweigerung oder Rechtsverzögerung durch die IV-Stelle zu behandeln und materiell zu entscheiden. Bejahendenfalls wäre sie auch verpflichtet gewesen, eine Prozessentschädigung zuzusprechen. Das Verhalten der Vorinstanz stelle eine Rechtsverweigerung und einen Verstoss gegen die Begründungspflicht dar.
3. Das kantonale Gericht hat die Verfahrenserledigung (Abschreibung der Beschwerde am Protokoll) damit begründet, die IV-Stelle sei mit den Vorbescheiden vom 24. Juni 2008 dem Begehren des Beschwerdeführers vollumfänglich nachgekommen, was dieser nicht bestreitet. Damit war aber die am 20. Juni 2008 anhängig gemachte Rechtsverzögerungs- und Rechtsverweigerungsbeschwerde wegen dahingefallenen Rechtsschutzinteresses gegenstandslos geworden (<ref-ruling> E. 1 S. 374; SVR 2006 KV Nr. 3 S. 6, K 27/04, E. 1.2). Von Rechtsverweigerung oder einer Verletzung der Begründungspflicht durch die Vorinstanz kann somit nicht gesprochen werden. Es bleibt die vom Beschwerdeantrag erfasste Entschädigungsfrage zu prüfen.
4. 4.1 Die Vorinstanz hat dem Beschwerdeführer keine Prozessentschädigung für das Rechtsverzögerungsbeschwerdeverfahren zugesprochen, weil in keiner Weise nachgewiesen sei, dass die Vorbescheide vom 24. Juni 2008 als Folge der am 23. Juni 2008 bei ihr eingegangenen Beschwerde erlassen worden seien. Diese Begründung verletzt insofern Bundesrecht (Art. 106 Abs. 1 in Verbindung mit <ref-law>), als sie verkennt, dass der vom kantonalen Gericht zu Recht nicht grundsätzlich verneinte Anspruch auf Parteientschädigung sich in erster Linie nach dem mutmasslichen Ausgang des Prozesses beurteilt (SVR 2004 ALV Nr. 8 S. 21, C 56/03, E. 3.1; <ref-ruling> E. 1 S. 271). Ergibt die summarische Prüfung der Sachlage vor Eintritt des Erledigungsgrundes kein eindeutiges Ergebnis, ist auf allgemeine zivilprozessrechtliche Kriterien zurückzugreifen. Danach wird in erster Linie jene Partei kosten- und entschädigungspflichtig, die das gegenstandslos gewordene Verfahren veranlasst hat oder bei der die Gründe eingetreten sind, die zur Gegenstandslosigkeit des Verfahrens geführt haben (Anwaltsrevue 3/2005 S. 123, K 139/03, E. 2.1; SVR 1998 UV Nr. 11 S. 29, U 197/96, E. 6a). Der Rechtsuchende, welcher in guten Treuen Beschwerde erhoben hat, soll nicht im Kostenpunkt dafür bestraft werden, dass das Verfahren infolge nachträglicher Änderung der Umstände abzuschreiben ist, ohne dass ihm dies anzulasten wäre (<ref-ruling> E. 4a S. 494). Vorliegend ist somit nicht von Bedeutung, ob die IV-Stelle in Kenntnis von der und in Reaktion auf die Rechtsverzögerungs- und Rechtsverweigerungsbeschwerde die Vorbescheide vom 24. Juni 2006 erliess. Entscheidend ist, dass diese Verwaltungsakte dem Versicherten nicht vor Anhebung des Verfahrens am 20. Juni 2006 eröffnet wurden, wovon auszugehen ist.
4.2 Rechtsverzögerung ist eine besondere Form formeller Rechtsverweigerung (<ref-ruling> E. 2 S. 238; René Rhinow/Heinrich Koller/ Christina Kiss, Öffentliches Prozessrecht und Justizverfassungsrecht des Bundes, 1996, N 200; Hansjörg Seiler/Nicolas von Werdt/Andreas Güngerich, Bundesgerichtsgesetz [BGG], Bern 2007, N 5 und 9 zu Art. 94). Sie ist gegeben, wenn die zuständige Verwaltungs- oder Gerichtsbehörde sich zwar bereit zeigt, einen von Gesetzes wegen zu treffenden Entscheid zu fällen, diesen aber nicht binnen der Frist erlässt, welche nach der Natur der Sache und nach der Gesamtheit der übrigen Umstände als angemessen erscheint (<ref-ruling> E. 1.1 S. 409; <ref-ruling> E. 5.1 S. 331; <ref-ruling> E. 3c; SVR 2007 BVG Nr. 21 S. 72, B 5/05, E. 3.3; Ulrich Häfelin/Georg Müller/Felix Uhlmann, Allgemeines Verwaltungsrecht, 5. Aufl. 2006, N 1658). Dabei sind insbesondere die Art des Verfahrens, die Schwierigkeit der Materie, das Verhalten der Beteiligten und auch die Bedeutung der Angelegenheit für den Rechtsuchenden zu berücksichtigen (BGE <ref-ruling> E. 5.2 S. 332; <ref-ruling> E. 2a S. 191; <ref-ruling> E. 5b S. 325; Rhinow/ Koller/Kiss a.a.O N 225; Urteil 9C_624/2008 vom 10. September 2008 E. 5.2.1).
4.2.1 Der Beschwerdeführer bringt vor, die Vorinstanz hätte die Beschwerde gutheissen müssen, wenn sie den Sachverhalt geprüft hätte. Die verschiedenen Sachfragen seien längst zum Entscheid bereit gewesen. Es sei stossend, wenn sein Mandant Taggelder erst im August 2008 ausbezahlt erhalte, der Anspruch aber bereits seit Ende 2007 klar ausgewiesen gewesen sei. Dass bei der IV-Stelle in letzter Zeit chaotische Verhältnisse geherrscht hätten, dürfe dem Versicherten nicht zum Nachteil gereichen. Diese Vorbringen genügen lediglich in Bezug auf das Taggeld für das sechsmonatige Praktikum vom 1. November 2007 bis 30. April 2008 den formellen Anforderung an die Begründung der Begehren nach Art. 42 Abs. 1 und 2 erster Satz BGG. In Bezug auf den Anspruch auf Wartetaggelder für die Zeit vor und nach der Ausbildung beim Zentrum X._ bis zum Beginn des Praktikums sowie den Anspruch auf Umschulung zum technischen Kaufmann trifft dies - auch bei in tatsächlicher Hinsicht freier Kognition - nicht zu, wird doch einzig geltend gemacht, wiederholt einen Entscheid verlangt zu haben.
4.2.2 Der Beschwerdeführer hatte im September 2005 die Invalidenversicherung unter anderem um Umschulung ersucht. Ein Jahr später mit Verfügung vom 7. September 2006 sprach ihm die IV-Stelle die Ausbildung für ... beim Zentrum X._ bis 5. Juni 2007 sowie ein Praktikum vom 15. Juni bis 14. Dezember 2007 zu und setzte mit Verfügung vom 6. Oktober 2006 das Taggeld fest. Anfang Juni 2007 schloss der Versicherte den Lehrgang erfolgreich ab. Die zuständige Ausgleichskasse richtete bis 5. Juli 2007 Taggelder aus. Am 1. November 2007 begann der Beschwerdeführer sein sechsmonatiges Praktikum bei der Firma Y._ AG, was der IV-Stelle bereits Anfang Oktober mitgeteilt worden war. Taggeldleistungen wurden indessen nicht ausgerichtet, dies trotz mehrfacher Anfragen des Rechtsvertreters des Versicherten, welcher insbesondere darauf hinwies, dass auf Grund der Verfügungen vom 7. September und 6. Oktober 2006 Anspruch darauf bestehe (Schreiben vom 18. Dezember 2007) und darauf aufmerksam machte, dass sein Mandant gezwungen sei, Sozialleistungen zu beziehen (Schreiben vom 27. Januar 2008). Es ist nicht einsehbar, weshalb erst zwanzig Monate später und erst beinahe acht Monate nach Beginn des Praktikums im Juni 2008 das Erforderliche endlich vorgekehrt wurde, um die seit langem verfügten Leistungen zur Ausrichtung zu bringen. Aus dem Umstand allein, dass das Praktikum mangels einer entsprechenden Stelle nicht wie in den Verfügungen vom 7. September und 6. Oktober 2006 angenommen sofort anschliessend an die Ausbildung begonnen werden konnte, lässt sich jedenfalls kein ins Gewicht fallender zusätzlicher Abklärungsaufwand in Bezug auf die Anspruchsvoraussetzungen und die Höhe des Taggeldes ableiten. Es bestehen Hinweise in den Akten, dass der Fall des Beschwerdeführers nicht mit der erforderlichen Sorgfalt geführt worden war. In einem direkt an ihn und nicht an seinen Rechtsvertreter adressierten Schreiben vom 3. Dezember 2007 wurde er mit dem Hinweis darauf, die Ausbildungszeit beim Zentrum X._ habe gemäss Verfügung vom 7. September 2006 am 14. Dezember 2007 geendet, aufgefordert, den beigelegten Fragebogen bis Ende Januar 2008 ausgefüllt zurückzusenden sowie eine Kopie des Abschlusszeugnisses einzureichen. Solche Umstände sind für die Frage eines rechtswidrig zögerlich geführten Verfahrens jedoch nicht von Bedeutung (<ref-ruling> E. 4c S. 20; SVR 2007 BVG Nr. 21 S. 72, B 5/05, E. 3.3). Zu berücksichtigen ist endlich, dass das Taggeld ein während und wegen der Eingliederungsmassnahme nicht erzielbares Einkommen ersetzen will (<ref-ruling> E. 3.3 S. 403; <ref-ruling> E. 2b S. 130; Urteil des Eidg. Versicherungsgerichts I 232/96 vom 29. Januar 1998 E. 5a). Dabei sind die Taggelder meistens höher als die allenfalls in Frage kommende Rente, um die Motivation des Invaliden zur Eingliederung nicht zu schmälern (<ref-ruling> E. 3.3.4 S. 406).
4.2.3 Es kann offenbleiben, ob das Verhalten der IV-Stelle den Tatbestand der Rechtsverzögerung erfüllt. Auf Grund des in E. 4.2.2 Gesagten können aber die mutmasslichen Erfolgsaussichten der Rechtsverzögerungsbeschwerde im Hinblick auf die generell zögerliche Behandlung der Sache durch die Invalidenversicherung jedenfalls nicht ohne weiteres verneint werden. Ebenfalls gab die IV-Stelle durch ihr Verhalten begründeten Anlass zur Beschwerde. Der Versicherte hat daher Anspruch auf eine Parteientschädigung für das gegenstandslos gewordene Verfahren (E. 4.1; vgl. auch Urteil 9C_624/2008 vom 10. September 2008 E. 5.2.3). Insoweit ist die Beschwerde begründet.
5. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten den Parteien je hälftig aufzuerlegen (<ref-law>). Die IV-Stelle hat dem Beschwerdeführer eine nach Massgabe seines Obsiegens sowie nach dem anwaltlichen Vertretungsaufwand bemessene Parteienentschädigung zu bezahlen (<ref-law> sowie Art. 3 Abs. 1 und 3 des Reglements vom 31. März 2006 über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht).

Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde, soweit darauf einzutreten ist, wird Dispositiv-Ziffer 3 des Entscheids vom 27. August 2008 aufgehoben. Die Sache wird an das Verwaltungsgericht des Kantons Thurgau als Versicherungsgericht zurückgewiesen, damit es im Sinne der Erwägungen die Parteientschädigung für das vorangegangene Verfahren festsetze. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden den Parteien je zur Hälfte auferlegt.
3. Die IV-Stelle des Kantons Thurgau hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. November 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler