Sachverhalt:
A. Der 1971 geborene G._ hat verschiedene Ausbildungen insbesondere im Kunstbereich absolviert und betätigte sich danach als frei schaffender Künstler sowie vorübergehend als Kursleiter. Im Juni 2006 meldete er sich unter Hinweis auf "Suchtproblematik, psychische Instabilität, psychische Probleme" bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Appenzell Ausserrhoden traf erwerbliche und medizinische Abklärungen (u.a. Einholung des psychiatrischen Gutachtens der Klinik X._ vom 20. Juli 2007). Mit Verfügung vom 8. November 2007 verneinte sie einen Rentenanspruch mit der Begründung, die diagnostizierte spezifische isolierte Phobie (im Sinne einer Miktionsphobie) wirke sich nicht relevant auf die Arbeitsfähigkeit aus und die bestehende Suchtproblematik bewirke nach der Rechtsprechung keine leistungsbegründende Invalidität.
B. Die von G._ hiegegen erhobene Beschwerde mit dem Antrag auf Zusprechung mindestens einer halben Invalidenrente wies das Verwaltungsgericht von Appenzell Ausserrhoden mit Entscheid vom 22. Mai 2008 ab.
C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der kantonale Entscheid aufzuheben und mit Wirkung ab Juni 2005 mindestens eine halbe Invalidenrente zuzusprechen, eventuell die Sache im Sinne der Erwägungen an die Verwaltung oder die Vorinstanz zurückzuweisen.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Mit Blick auf diese Kognitionsregelung ist auf Grund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene kantonale Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht, Völkerrecht oder kantonale verfassungsmässige Rechte verletzt (Art. 95 lit. a-c BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>). Hingegen hat unter der Herrschaft des BGG eine freie Überprüfung des vorinstanzlichen Entscheids in tatsächlicher Hinsicht zu unterbleiben, ausser wenn sich die Beschwerde gegen einen Entscheid über die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung richtet (<ref-law>).
2. Streitig ist der Anspruch auf eine Rente der Invalidenversicherung und dabei die Frage, ob eine invaliditätsbegründende Gesundheitsschädigung vorliegt.
Das kantonale Gericht hat im angefochtenen Entscheid, auf welchen verwiesen wird, die Bestimmungen über die Begriffe Invalidität (<ref-law>) und Erwerbsunfähigkeit (<ref-law>) zutreffend wiedergegeben. Ebenfalls richtig ist, dass nach der Rechtsprechung eine Drogensucht, wie auch Alkoholismus und eine Medikamentenabhängigkeit, für sich allein betrachtet noch keinen invalidisierenden Gesundheitsschaden darstellt, sondern erst dann bedeutsam wird, wenn sie durch einen solchen Gesundheitsschaden bewirkt worden ist oder einen solchen zur Folge hat (vgl. <ref-ruling> E. 3c S. 268; AHI 2002 S. 28, I 454/99, und 2001 S. 227, I 138/98; Urteil I 50/07 vom 23. Oktober 2007 E. 5.1 und 5.2 mit weiteren Hinweisen).
3. Der Versicherte leidet unstreitig seit der Kindheit an einer spezifisch isolierten Phobie im Sinne einer Miktionsphobie. Zudem liegt ein Abhängigkeitssyndrom mit multiplem Substanzgebrauch vor.
4. Das kantonale Gericht hat zunächst erwogen, die Miktionsphobie begründe keine relevante Arbeits- und Erwerbsunfähigkeit und damit keine Invalidität.
Die Beschwerde äussert sich hiezu widersprüchlich, indem zum einen die vorinstanzliche Betrachtungsweise bestätigt, zum anderen aber zumindest die Möglichkeit einer invalidisierenden Wirkung der Phobie geltend gemacht wird. Es wird indessen nichts vorgebracht, was die Beurteilung durch das kantonale Gericht in Frage stellen könnte. Damit erübrigt sich auch, auf die Ausführungen des Versicherten zur kausalen Bedeutung der Miktionsphobie für das Abhängigkeitssyndrom weiter einzugehen.
Ein anderes, für sich allein betrachtet invalidisierendes Leiden, welches als Ursache für das Abhängigkeitssyndrom zu betrachten wäre, steht nicht zur Diskussion. Die geltend gemachten Faktoren, wie eine Veranlagung zu labiler Psyche, familiäre Umstände, der Abbruch einer Ausbildung und eine erfolgte Ausweitung/Verlagerung von weichen auf harte Drogen genügen hiefür nicht.
5. Zu prüfen bleibt, ob das Abhängigkeitssyndrom oder eine daraus folgende Gesundheitsschädigung eine Invalidität bewirkt.
5.1 Das kantonale Gericht hat vorab erkannt, die Abhängigkeit alleine vermöge keine Invalidität zu begründen. Diese Beurteilung entspricht der dargelegten Rechtsprechung (E. 2 hievor). In der Beschwerde wird nichts vorgebracht, was ein Abweichen von dieser Praxis zu rechtfertigen vermöchte. Namentlich genügt der Umstand, dass in einem Teil der medizinischen Akten davon ausgegangen wird, die Arbeitsfähigkeit sei infolge des Abhängigkeitssyndroms eingeschränkt, nicht.
5.2 Die Vorinstanz hat sich im Weiteren mit der Äusserung des Versicherten auseinandergesetzt, wonach ein Drogenentzug eine andere (invalidisierende) psychische Erkrankung demaskieren könnte, was nicht abgeklärt worden sei. Sie hat erwogen, der Beschwerdeführer sei in schwer intoxikiertem Zustand zur psychiatrischen Begutachtung an der Klinik X._ erschienen und habe damit und durch seine mangelnde Bereitschaft für einen Drogenentzug die geforderte "Demaskierung" einer psychischen Erkrankung selber vereitelt.
5.2.1 Der Versicherte erneuert die Rüge, die Abklärungspflicht sei verletzt worden. Zwar möge sein, dass infolge eines chronisch intoxikierten Zustandes eine Aussage zur Arbeitsfähigkeit nicht möglich sei, wie dies im Gutachten der Klinik X._ vom 20. Juli 2007 festgehalten worden sei. Doch könne nicht Drogen- oder Alkoholfreiheit verlangt werden, auch nicht im Rahmen der Schadenminderungspflicht.
5.2.2 Die vorinstanzliche Beurteilung, wonach unter den gegebenen Umständen auch von weiteren psychiatrischen Abklärungen keine zuverlässigen Hinweise auf eine invalidisierende psychische Erkrankung zu erwarten sind, ist als antizipierte Beweiswürdigung im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden. Es kann darin namentlich auch keine Verletzung des Untersuchungsgrundsatzes (vgl. <ref-law>) gesehen werden. Ergibt sich nun aber bei korrekter Anwendung dieses Grundsatzes nicht zumindest mit dem im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 5b S. 360 mit Hinweisen) ein solches Leiden, trägt der Versicherte, welcher daraus Rechte ableiten wollte, die Folgen der Beweislosigkeit (<ref-ruling> E. 3b S. 264). Dies gilt unabhängig davon, ob hier vom Versicherten im Rahmen der Mitwirkungspflichten bei der Sachverhaltsabklärung (<ref-ruling> E. 2 S. 195 mit Hinweisen), gegebenenfalls auch der Schadenminderungspflicht (<ref-ruling> E. 4.2 S. 463 mit Hinweisen), ein Drogenverzicht hätte erwartet werden dürfen.
5.3 Festzuhalten bleibt, dass sich aus den medizinischen Akten keine Anhaltspunkte ergeben, welche auf eine invalidisierende organische Gesundheitsschädigung hindeuten oder auch nur einen diesbezüglichen Abklärungsbedarf zu begründen vermöchten. Auch der Hausarzt stellt im Bericht vom 1. Juni 2006 keine solchen Diagnosen. Soweit in der Beschwerde allfällige weitere Leiden postuliert werden, beruht dies lediglich auf - durch die Akten nicht gestützte - Mutmassungen über mögliche Auswirkungen des Substanzgebrauchs. Dies rechtfertigt keine andere Betrachtungsweise.
5.4 Zusammenfassend begründet das Abhängkeitssyndrom keine Invalidität und liegt auch anderweitig keine invalidisierende Gesundheitsschädigung vor. Die Beschwerde ist daher abzuweisen.
6. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht von Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Januar 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz