Sachverhalt:
A. Der 1960 geborene T._ meldete sich im Februar 2002 bei der Invalidenversicherung zum Leistungsbezug an. Mit Einspracheentscheid vom 8. September 2006 sprach ihm die IV-Stelle des Kantons Thurgau bei einem Invaliditätsgrad von 43 % ab 1. Februar 2002 eine Viertelsrente der Invalidenversicherung zu. Dagegen erhob T._ Beschwerde, welche die AHV/IV-Rekurskommission des Kantons Thurgau insoweit guthiess, als sie die Sache zu weiteren Abklärungen im Sinne der Erwägungen und anschliessender Neuverfügung an die Verwaltung zurückwies. Nach weiteren Ermittlungen und Durchführung des Vorbescheidverfahrens bestätigte die IV-Stelle mit Verfügung vom 15. August 2008 den Umfang des Rentenanspruchs bei unverändertem Invaliditätsgrad.
B. Die Beschwerde des T._ wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 28. Januar 2009 ab.
C. T._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des Entscheids vom 28. Januar 2009 sei ihm ab Januar 2006 eine ganze Invalidenrente zuzusprechen; eventuell sei die Angelegenheit zur medizinischen Abklärung und anschliessenden neuen Verfügung an die Verwaltung zurückzuweisen.
Die IV-Stelle und das kantonale Gericht schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Es steht fest und ist unbestritten, dass der Beschwerdeführer aufgrund gesundheitlicher Beeinträchtigungen in der Arbeitsfähigkeit eingeschränkt ist und seit Februar 2002 Anspruch auf (mindestens) eine Viertelsrente der Invalidenversicherung hat. Streitig und zu prüfen ist lediglich die Frage, ob sich sein Gesundheitszustand nach der am 24. Januar 2006 erfolgten multidisziplinären Begutachtung durch das Institut X._ so verschlechtert hat, dass sich dies relevant auf Invaliditätsgrad und Rentenanspruch auswirkt.
3. 3.1 Nach Auffassung der Vorinstanz ist eine Verschlechterung des Gesundheitszustandes in anspruchsbeeinflussendem Ausmass seit Januar 2006 nicht ausgewiesen. In gastroenterologischer Hinsicht liessen sich den Berichten des Dr. med. Z._ vom 25. Mai und 6. Juli 2007 keine Anhaltspunkte für eine relevante Verschlechterung entnehmen. Die anlässlich der Koloskopie vom 21. Mai 2007 festgestellten Befunde unterschieden sich nicht wesentlich von den bereits am 27. April 2005 erhobenen. Auch das Spital Y._ (Bericht vom 8. und 13. August 2007) halte aus rein gastroenterologischer Sicht eine Restarbeitsfähigkeit von 80 % für adäquat. Ebenso sei in Bezug auf die neu diagnostizierte - und im Zusammenhang mit der Proctosigmoiditis ulcerosa stehende - Arthritis des Iliosakralgelenks (ISG) eine Verschlechterung des Gesundheitszustandes nicht wahrscheinlich, da sich das ISG bei der Untersuchung im Mai 2007 beidseits normal beweglich und nicht druckschmerzhaft gezeigt habe und die in diesem Zusammenhang genannten lumbosakralen Rückenschmerzen auch schon von den Gutachtern des Instituts X._ erwähnt worden seien. Die vermehrte Müdigkeit sei von den Ärzten des Spital Y._ in möglichem Zusammenhang mit der ISG-Arthritis, einem chronischen Mittelohrkatarrh und dem bereits 2004 postulierten engen Spinalkanal gesehen worden. Der Hausarzt räume schliesslich selber ein, dass die geltend gemachte Verschlechterung schwer objektivierbar und beweisbar sei. In subjektiver Hinsicht hätten bereits die Gutachter des Instituts X._ eine Diskrepanz zwischen Selbsteinschätzung und Befunden festgestellt. Die Einschätzung des Hausarztes, wonach eine Arbeitsfähigkeit von 80 % utopisch sei, sei daher auch nicht geeignet, eine Verschlechterung des Gesundheitszustandes zu belegen.
3.2 Es ist weder ersichtlich, noch wird geltend gemacht, dass die vorinstanzlichen Feststellungen offensichtlich unrichtig sind (E. 1), zumal sie mit den begründeten und nachvollziehbaren Einschätzungen des Regionalen Ärztlichen Dienstes (RAD) übereinstimmen (vgl. Art. 49 Abs. 3 IVG; Urteil I 143/07 vom 14. September 2007 E. 3.3). Danach vermag auch der chronische, lediglich durch einen Stimmgabeltest belegte Tubenmittelohrkatarrh keine Arbeitsunfähigkeit zu begründen. Weiter verneinten die Ärzte des Spital Y._ im Bericht vom 8. und 13. August 2007 eine Auswirkung auf die Arbeitsfähigkeit nicht nur in Bezug auf den Katarrh, sondern auch hinsichtlich des gastrooesophagialen Refluxes und der Onychomykose an den Zehen. Schliesslich wurde ein "schwergradig" obstruktives Schlafhypopnoe/-apneusyndrom, welches jedoch mit nächtlicher CPAP-Beatmung adäquat kontrolliert werden könne, bereits im Gutachten des Instituts X._ vom 23. Februar 2003 (recte: 2006) erwähnt.
3.3 Die vorinstanzlichen Feststellungen beruhen auch nicht auf Rechtsverletzungen im Sinne von Art. 95 BGG (E. 1), insbesondere ist der Sachverhalt nicht ungenügend abgeklärt. Der Versicherte wurde am 8. Mai 2007 im Spital Y._ eingehend untersucht und Dr. med. Z._ führte am 21. Mai 2007 eine Koloskopie durch. Die entsprechenden Berichte (Spital Y._ vom 22. Mai sowie 8. und 13. August 2007; Dr. med. Z._ vom 25. Mai und 6. Juli 2007) und die Stellungnahme des Hausarztes vom 8. November 2007 hat das kantonale Gericht - unter Berücksichtigung der Einschätzungen des RAD - eingehend, nachvollziehbar und bundesrechtskonform (Urteil 9C_932/2008 vom 9. April 2009 E. 3.1 mit Hinweisen) gewürdigt. Wohl ist dem Beschwerdeführer beizupflichten, dass sich der massgebliche Prüfungszeitraum bis zum Erlass der angefochtenen Verfügung erstreckt (BGE 131 V 407 E. 2.1.2.1 S. 412; 116 V 246 E. 1a S. 248; Urteil I 58/02 vom 13. November 2002 E. 2.1). Mangels eines Anhaltspunktes für eine relevante Gesundheitsverschlechterung seit den im Mai 2007 erfolgten Untersuchungen hat die Vorinstanz in zulässiger antizipierender Beweiswürdigung auf weitere Abklärungen verzichtet (BGE 122 V 157 E. 1d S. 162, Urteil 9C_694/2007 vom 10. Dezember 2007 E. 3.1 mit Hinweisen). Die Sachverhaltsfeststellungen der Vorinstanz sind daher für das Bundesgericht verbindlich (Art. 105 Abs. 1 und 2 BGG).
3.4 Dass die Vorinstanz - wie bereits Verwaltung und Rekurskommission - stillschweigend von der Verwertbarkeit der restlichen Arbeitsfähigkeit für leidensangepasste Tätigkeiten auf dem allgemeinen ausgeglichenen Arbeitsmarkt ausgegangen ist, beruht weder auf einer mangelhaften Feststellung des Sachverhalts noch verstösst es sonst wie gegen Bundesrecht (ZAK 1991 S. 318, I 350/89 E. 3b; Urteile 8C_489/2007 vom 28. Dezember 2007 E. 4.1 und 9C_941/2008 vom 18. Februar 2009 E. 3.5). Das Finden einer zumutbaren Stelle erscheint nicht zum Vornherein als ausgeschlossen, zumal davon auszugehen ist, dass die gastroenterologischen Beschwerden bei der medizinischen Einschätzung der Arbeitsfähigkeit genügend berücksichtigt wurden. Ausserdem sind an die Konkretisierung von Arbeitsgelegenheiten und Verdienstaussichten praxisgemäss nicht übermässige Anforderungen zu stellen (Urteile 9C_744/2008 vom 19. November 2008 E. 3.2 und 9C_236/2008 vom 4. August 2008 E. 4.2; Urteil des Eidg. Versicherungsgerichts I 349/01 vom 3. Dezember 2003 E. 6.1). Die Beschwerde ist unbegründet.
4. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau, dem Bundesamt für Sozialversicherungen und der Pensionskasse Rieter schriftlich mitgeteilt.
Luzern, 30. April 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann