Sachverhalt:
A. Der 1948 geborene K._ arbeitete während Jahren als Lastwagen-Chauffeur/Allrounder. Gesundheitliche Gründe führten im Jahr 1998 zur Aufgabe dieser Tätigkeit. Die Invalidenversicherung gewährte berufliche Massnahmen in Form einer beruflichen Abklärung und eines Arbeitstrainings. Im Januar 2001 konnte der Versicherte wieder eine vollzeitliche Erwerbstätigkeit als Speditionsmitarbeiter in der Firma O._ AG aufnehmen. Das Anstellungsverhältnis endete im April 2005 durch Kündigung der Arbeitgeberin. Anschliessend bezog K._ Arbeitslosenentschädigung bis zum Ende der Rahmenfrist für den Leistungsbezug im April 2007. Im August 2007 meldete er sich bei der Invalidenversicherung zum Rentenbezug an. Er verwies dabei auf "chronische Darmentzündung, Diskushernie, Rückenschmerzen, Hüftgelenksarthrose" sowie auf einen Tennisarm und auf Depressionen. Die IV-Stelle des Kantons Thurgau holte einen Auszug aus dem individuellen Konto, Berichte der letzten Arbeitgeberin, der Arbeitslosenversicherung und der behandelnden Ärzte sowie ein Gutachten der Frau Dr. med. S._, Innere Medizin FMH, speziell Rheumaerkrankungen, vom 11. März 2008 ein. Mit Verfügung vom 23. Juli 2008 verneinte die Verwaltung einen Anspruch auf eine Invalidenrente mangels einer invalidisierenden Gesundheitsschädigung. Sie lehnte es auch ab, die überdies beantragten beruflichen Massnahmen zu gewähren.
B. Die von K._ hiegegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Thurgau teilweise gut. Es sprach dem Versicherten Berufsberatung und Arbeitsvermittlung zu. Im Rentenpunkt wies das Gericht die Beschwerde ab (Entscheid vom 27. Mai 2009).
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der vorinstanzliche Entscheid sei im Rentenpunkt aufzuheben und die Sache sei zur neuen Abklärung und Beurteilung im Sinne der Zusprache einer Invalidenrente an die Verwaltung zurückzuweisen. Eventuell habe das Bundesgericht zusätzliche medizinische Abklärungen, insbesondere die Vornahme eines polydisziplinären medizinischen Gutachtens, anzuordnen und eine Invalidenrente zuzusprechen, und zwar "primär eine volle Invalidenrente, hilfsweise eine solche zu zwei Dritteln, subsidiär eine hälftige Invalidenrente und höchstvorsorglicherweise eine Viertelsrente". Mit der Beschwerde werden zwei neue Arztberichte aufgelegt.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente der Invalidenversicherung.
Das kantonale Gericht hat die Bestimmungen über die Begriffe Invalidität (Art. 8 Abs. 1 ATSG) und Erwerbsunfähigkeit (Art. 7 ATSG), den nach dem Grad der Invalidität abgestuften Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 IVG in der bis Ende 2007 in Kraft gestandenen und Art. 28 Abs. 2 IVG in der seit Anfang 2008 geltenden Fassung) und die Bestimmung des Invaliditätsgrades mittels Einkommensvergleich (Art. 16 ATSG) zutreffend dargelegt. Gleiches gilt für die Grundsätze über die Beweiswürdigung, insbesondere im Hinblick auf ärztliche Berichte und Gutachten (<ref-ruling> E. 3a S. 352 mit Hinweis). Zu erwähnen bleibt, dass das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den Sachverhalt abstellt, der bis zum Zeitpunkt des Erlasses des streitigen Einspracheentscheides resp., wenn - wie hier im Bereich der Invalidenversicherung - kein Einspracheverfahren vorgesehen ist, der streitigen Verwaltungsverfügung eingetreten ist (<ref-ruling> E. 1 S. 169 mit Hinweis).
3. 3.1 Das kantonale Gericht ist gestützt auf das Gutachten der Frau Dr. med. S._ vom 11. März 2008 zum Ergebnis gelangt, der Versicherte sei in körperlicher Hinsicht in einer leidensangepassten Tätigkeit voll arbeitsfähig. Es hat im Weiteren einen invalidisierenden psychischen Gesundheitsschaden ausgeschlossen und die Notwendigkeit weiterer medizinischer Abklärungen, wie etwa einer polydisziplinären Begutachtung, verneint.
Gemäss der in der Beschwerde vertretenen Auffassung ist diese Beurteilung in verschiedener Hinsicht offensichtlich unrichtig und rechtsfehlerhaft.
Gemäss der in der Beschwerde vertretenen Auffassung ist diese Beurteilung in verschiedener Hinsicht offensichtlich unrichtig und rechtsfehlerhaft.
3.2 3.2.1 Im von der Vorinstanz für massgeblich erachteten Gutachten der Frau Dr. med. S._ vom 11. März 2008 wird ausgeführt, aufgrund des körperlichen Gesundheitszustandes bestünden Einschränkungen bei Tätigkeiten, welche die Hüftgelenke, das Kreuz und die rechte Schulter stark belasteten. Leidensadaptierte Tätigkeiten könnten ausgeübt werden. Günstig sei eine wechselbelastende Arbeit mit seltenem Heben und Tragen von Lasten über 25 kg und manchmal Heben und Tragen bis 25 kg. Der Versicherte könne keine Lasten von mehr als 10 kg über die Schulterhöhe heben. Längeres Verharren in vornüber geneigter Stellung - ob stehend oder sitzend - sei zu vermeiden. Das Besteigen von Leitern oder Gerüsten sei kaum, längeres Abwärtsgehen und Hinunterspringen nur eingeschränkt möglich. Die angestammte Tätigkeit eines Speditionsmitarbeiters sei, unter Ausschluss des Hebens von Lasten über 10 kg über Schulterhöhe, im Umfang von 8 bis 9 Stunden pro Tag und ohne dass die Leistungsfähigkeit vermindert wäre, zumutbar. Eine medizinisch begründete Arbeitsunfähigkeit von 20 % oder mehr habe nie bestanden. Auf weitere Fragen der IV-Stelle bekräftigte die Expertin, in der bisherigen Tätigkeit bestehe mit der erwähnten Einschränkung (Heben über Schulterhöhe) eine volle Arbeitsfähigkeit. Eine solche liege auch für jede andere leidensadaptierte Tätigkeit vor.
3.2.2 Das kantonale Gericht hat diese fachärztlichen Schlussfolgerungen und deren Begründung in der Expertise als überzeugend erachtet. Diese Beweiswürdigung ist in Bezug auf den zunächst zu betrachtenden körperlichen Gesundheitszustand und dessen Auswirkungen auf die Arbeitsfähigkeit nicht offensichtlich unrichtig. Das gilt auch unter Berücksichtigung der weiteren Arztberichte.
Der Einwand, die Vorinstanz habe sich nicht mit den weiteren Arztberichten auseinandergesetzt und damit Beweiswürdigungsregeln verletzt, ist ebenfalls unbegründet. Im angefochtenen Entscheid wird dargelegt, weshalb die Vorinstanz die Aussagen der Gutachterin für überzeugender erachtet als die der übrigen Bericht erstattenden Ärzte und Medizinalpersonen, soweit sich diese überhaupt abweichend geäussert haben.
3.2.3 Die Hinweise des Beschwerdeführers auf die Berichte des Dr. med. E._, Orthopädische Chirurgie FMH, Spital X._, vom 30. Juli 2008, des behandelnden Physiotherapeuten vom 25. August 2008, des Dr. med. T._, Facharzt FMH für Rheumatologie, vom 4. Februar 2009 und des Hausarztes vom 9. Februar 2009 führen zu keiner anderen Betrachtungsweise. Dr. med. E._ bestätigt lediglich eine vorübergehende Verschlimmerung der Hüftbeschwerden und beschreibt diese als aktuell eher gering. Er bestätigt im Übrigen, wie Frau Dr. med. S._, Beschwerden im lumbalen Bereich und eine Einschränkung der Schultermobilität, ohne sich aber selber zur Arbeitsfähigkeit zu äussern. Den Aussagen des Physiotherapeuten lassen sich ebenfalls keine Anhaltspunkte entnehmen, welche die Feststellungen der Gutachterin in Frage stellen könnten. Gleiches gilt für den Bericht des Dr. med. T._, zumal darin eine Verschlimmerung der Hüftbeschwerden in den letzten Monaten vor der Berichterstattung am 4. Februar 2009 bestätigt wird, mithin in einem Zeitraum nach dem die gerichtliche Überprüfungsbefugnis zeitlich begrenzenden Erlass der Verwaltungsverfügung vom 23. Juli 2008 (vgl. E. 2 in fine hievor). Hinsichtlich der von Dr. med. T._ erwähnten gastroenterologischen Beschwerden ist mit der Vorinstanz festzustellen, dass Dr. med. F._, Facharzt FMH für Innere Medizin, Gastroenterologie, im Bericht vom 24. November 2007 aufgrund einer fachärztlichen Untersuchung zwar eine Colitis ulcerosa diagnostiziert, dieser aber ausdrücklich keinen Einfluss auf die Arbeitsfähigkeit zugeschrieben hat. Wenn das kantonale Gericht darauf abgestellt und eine invalidisierende Krankheit auch im Bereich Magen-Darm verneint hat, ist dies nicht offensichtlich unrichtig oder rechtsfehlerhaft im Sinne von Art. 95 BGG. Daran vermögen die Aussagen in den Berichten der behandelnden Ärzte nicht gastroenterologischer Fachrichtung nichts zu ändern. Die hausärztliche Stellungnahme vom 9. Februar 2009 nimmt ausschliesslich auf den psychischen Gesundheitszustand des Beschwerdeführers Bezug. Die somatomedizinische Beurteilung der Frau Dr. med. S._ stellt der Hausarzt, wie schon in seinem Bericht vom 5. September 2008, nicht in Frage.
3.2.3 Die Hinweise des Beschwerdeführers auf die Berichte des Dr. med. E._, Orthopädische Chirurgie FMH, Spital X._, vom 30. Juli 2008, des behandelnden Physiotherapeuten vom 25. August 2008, des Dr. med. T._, Facharzt FMH für Rheumatologie, vom 4. Februar 2009 und des Hausarztes vom 9. Februar 2009 führen zu keiner anderen Betrachtungsweise. Dr. med. E._ bestätigt lediglich eine vorübergehende Verschlimmerung der Hüftbeschwerden und beschreibt diese als aktuell eher gering. Er bestätigt im Übrigen, wie Frau Dr. med. S._, Beschwerden im lumbalen Bereich und eine Einschränkung der Schultermobilität, ohne sich aber selber zur Arbeitsfähigkeit zu äussern. Den Aussagen des Physiotherapeuten lassen sich ebenfalls keine Anhaltspunkte entnehmen, welche die Feststellungen der Gutachterin in Frage stellen könnten. Gleiches gilt für den Bericht des Dr. med. T._, zumal darin eine Verschlimmerung der Hüftbeschwerden in den letzten Monaten vor der Berichterstattung am 4. Februar 2009 bestätigt wird, mithin in einem Zeitraum nach dem die gerichtliche Überprüfungsbefugnis zeitlich begrenzenden Erlass der Verwaltungsverfügung vom 23. Juli 2008 (vgl. E. 2 in fine hievor). Hinsichtlich der von Dr. med. T._ erwähnten gastroenterologischen Beschwerden ist mit der Vorinstanz festzustellen, dass Dr. med. F._, Facharzt FMH für Innere Medizin, Gastroenterologie, im Bericht vom 24. November 2007 aufgrund einer fachärztlichen Untersuchung zwar eine Colitis ulcerosa diagnostiziert, dieser aber ausdrücklich keinen Einfluss auf die Arbeitsfähigkeit zugeschrieben hat. Wenn das kantonale Gericht darauf abgestellt und eine invalidisierende Krankheit auch im Bereich Magen-Darm verneint hat, ist dies nicht offensichtlich unrichtig oder rechtsfehlerhaft im Sinne von Art. 95 BGG. Daran vermögen die Aussagen in den Berichten der behandelnden Ärzte nicht gastroenterologischer Fachrichtung nichts zu ändern. Die hausärztliche Stellungnahme vom 9. Februar 2009 nimmt ausschliesslich auf den psychischen Gesundheitszustand des Beschwerdeführers Bezug. Die somatomedizinische Beurteilung der Frau Dr. med. S._ stellt der Hausarzt, wie schon in seinem Bericht vom 5. September 2008, nicht in Frage.
3.3 3.3.1 Die Vorinstanz ist im Weiteren zum Ergebnis gelangt, gestützt auf die vorhandenen medizinischen Akten lasse sich nicht verlässlich auf einen invalidisierenden psychischen Gesundheitsschaden schliessen. Diese Beurteilung ist nicht offensichtlich unrichtig, zumal die im Verwaltungs- und im kantonalen Verfahren aufgelegten Akten lediglich Aussagen somatomedizinisch spezialisierter Ärzte zu einer psychischen Problematik enthalten.
Was im Besonderen die letztinstanzlich aufgelegten Berichte des Dr. med. J._, Psychiatrie/Psychiatrie FMH, vom 2. und 22. Juni 2009 betrifft, gilt zu beachten, dass neue Beweismittel von Gesetzes wegen nur so weit vorgebracht werden dürfen, als erst der angefochtene Entscheid dazu Anlass gibt (Art. 99 Abs. 1 BGG). Ob dieses Erfordernis hier erfüllt ist, kann offengelassen werden, zumal sich die neu aufgelegten Arztberichte nicht zum hier interessierenden Sachverhalt bis zum Erlass der Verwaltungsverfügung vom 23. Juli 2008 äussern.
3.3.2 Der Beschwerdeführer argumentiert weiter, es hätte Anlass für psychiatrische und neuropsychologische Untersuchungen bestanden. Das kantonale Gericht hat einen entsprechenden Abklärungsbedarf verneint. Es setzt sich dabei namentlich auf der medizinisch-begrifflichen Ebene kritisch mit der vom Hausarzt gestellten Diagnose einer reaktiven Depression auseinander. Weiter verweist es auf die Rechtsprechung, wonach anhaltende somatoforme Schmerzstörungen und in ihrer Symptomatik verwandte pathogenetisch unklare syndromale Zustände nur unter bestimmten Voraussetzungen den Schluss auf einen invalidisierenden Gesundheitsschaden gestatten. Diese Voraussetzungen erachtet die Vorinstanz hier nicht für gegeben.
Im Ergebnis ist die vorinstanzliche Beurteilung weder als offensichtlich unrichtig noch als rechtsverletzend im Sinne von Art. 95 BGG zu betrachten. Hervorzuheben ist, dass der Versicherte bis April 2007 bei offensichtlich uneingeschränkter Vermittlungsfähigkeit und damit auch Arbeitsfähigkeit Arbeitslosenentschädigung bezog. Atteste der bereits damals seit Jahren behandelnden und auch in der Folge Bericht erstattenden Ärzte standen dem offenbar nicht entgegen. Es erscheint wenig überzeugend, dass - wie im hausärztlichen Bericht vom 27. Oktober 2007 attestiert - ausgerechnet ab 1. Mai 2007 und somit gleich nach dem im Ablauf der Rahmenfrist begründeten Ende der Bezugsdauer von Arbeitslosentaggeld eine psychisch - oder auch anderweitig - bedingte Arbeitsunfähigkeit eingetreten sein soll. Hinzu kommt, dass sich die behandelnden Ärzte auch in der Folge über geraume Zeit offenbar nicht veranlasst sahen, eine psychiatrische Abklärung und eine entsprechende Behandlung zu veranlassen oder dem Versicherten entsprechende Massnahmen nur schon nahezulegen. Eine psychotherapeutische Behandlung begann vielmehr erst im Mai 2009, mithin fast ein Jahr nach Erlass der Verwaltungsverfügung vom 23. Juli 2008, dies gestützt auf die Diagnosen einer Somatisierungsstörung und einer Persönlichkeitsstörung (Berichte Dr. med. J._ vom 2. und 22. Juni 2009). Unter diesen Umständen ist nicht wahrscheinlich, dass eine psychiatrische Abklärung verlässliche Anhaltspunkte ergibt, welche den Schluss auf eine im Zeitraum bis zur besagten Verwaltungsverfügung eingetretene invalidisierende psychische Störung gestatten würden. Was im Besonderen die vom Hausarzt empfohlene neuropsychologische Untersuchung betrifft, ist festzuhalten, dass in den medizinischen Berichten keine Anhaltspunkte erkennbar sind, welche einen entsprechenden Abklärungsbedarf zu begründen vermöchten. Namentlich wird auch vom Hausarzt nicht beschrieben, inwiefern neuropsychologische Auffälligkeiten bestanden haben sollen.
3.4 Es ist demnach im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden, dass die Vorinstanz ohne weitere medizinische Abklärungen von einer bis zum Verfügungserlass bestehenden vollen Arbeitsfähigkeit in angepassten Tätigkeiten ausgegangen ist. Die weiteren Vorbringen in der Beschwerde führen zu keiner anderen Betrachtungsweise. Das gilt auch für den Hinweis darauf, dass seitens eines RAD-Arztes vorübergehend eine polydisziplinäre medizinische Begutachtung empfohlen worden war.
4. Die erwerblichen Auswirkungen der gesundheitsbedingten Beschränkung des zumutbaren Tätigkeitsbereichs hat das kantonale Gericht mittels Einkommensvergleich ermittelt, wobei es auf die Verhältnisse im Jahr 2007 abstellte.
4.1 Das ohne Gesundheitsschädigung mutmasslich erzielte Einkommen (Valideneinkommen) setzte die Vorinstanz gestützt auf die Angaben der O._ AG über den anzunehmenden Einkommensverlauf auf Fr. 55'000.- fest.
Bei der Bestimmung des trotz gesundheitlicher Beeinträchtigung zumutbarerweise noch erzielbaren Einkommens (Invalideneinkommen) zog das kantonale Gericht Tabellenlöhne gemäss der Schweizerischen Lohnstrukturerhebung (LSE) heran. Es ging vom monatlichen Bruttolohn (Zentralwert bei einer standardisierten Arbeitszeit von 40 Wochenstunden) der mit einfachen und repetitiven Tätigkeiten im gesamten privaten Sektor beschäftigten Männer im Jahr 2006 von Fr. 4'732.- (LSE 2006 Tabelle TA1 S. 25) aus, rechnete diesen auf eine betriebsübliche Wochenarbeitszeit von 41.7 Stunden um und berücksichtigte eine Lohnentwicklung von 1.6 % aufs Jahr 2007. Das ergibt ein Monatseinkommen von Fr. 5'012.- und aufs Jahr (x 12) Fr. 60'144.-. Die Vorinstanz hat sodann erwogen, selbst wenn von diesem Invalideneinkommen der maximal zulässige leidensbedingte Abzug von 25 % vorgenommen werde, führe dies nach Gegenüberstellung der beiden Vergleichseinkommen lediglich zu einem nicht rentenbegründenden Invaliditätsgrad von 18 %.
4.2 In der Beschwerde wird zunächst beanstandet, das Invalideneinkommen vor dem leidensbedingten Abzug liege höher als das Valideneinkommen. Das kantonale Gericht hat dies erkannt und erwogen, die Differenz von 9 % stelle keinen Grund dar, um die Löhne proportional herabzusetzen. Diesbezüglich ist zu beachten, dass gemäss dem jüngst ergangenen <ref-ruling> ein Valideneinkommen als deutlich unterdurchschnittlich gilt, wenn es mindestens 5 % unter dem branchenüblichen Tabellenlohn liegt, und dies eine Parallelisierung der Vergleichseinkommen rechtfertigen kann. Dabei ist nur in dem Umfang zu parallelisieren, in welchem die prozentuale Abweichung den Erheblichkeitswert von 5 % übersteigt (<ref-ruling> E. 6.1.2 S. 303 und E. 6.1.2 S. 303 f.). Selbst wenn indessen im vorliegenden Fall eine Parallelisierung nach diesen Grundsätzen vorgenommen würde, wäre der für eine Invalidenrente mindestens erforderliche Invaliditätsgrad von 40 % nicht erreicht.
Die weiteren Einwände des Versicherten führen ebenfalls zu keinem anderen Ergebnis. Soweit die Faktoren Alter und Beschränkung auf nicht schwere Tätigkeiten einkommensbeeinflussend sind, wurde dem beim leidensbedingten Abzug Rechnung getragen. Ob der Abzug überhaupt auf 25 % und damit auf den nach der Rechtsprechung maximal möglichen Umfang (<ref-ruling> E. 301 mit Hinweisen) festzusetzen wäre, kann mit der Vorinstanz offengelassen werden. Jedenfalls liesse sich mit den Vorbringen in der Beschwerde kein leidensbedingter Abzug über diesen Höchstwert hinaus begründen. Es kann zudem nicht gesagt werden, der Versicherte sei aufgrund seines Alters und der gesundheitsbedingten Einschränkung auf dem ausgeglichenen Arbeitsmarkt von vornherein nicht vermittelbar. Etwas anderes ergibt sich auch nicht aus dem in der Beschwerde erwähnten Urteil 9C_833/2007 vom 4. Juli 2008.
Der von der Vorinstanz vorgenommene Einkommensvergleich wird im Übrigen nicht beanstandet und gibt keinen Anlass zu Weiterungen. Es bleibt damit bei der Verneinung eines Rentenanspruchs.
5. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Januar 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz