Sachverhalt:
A. Der 1963 geborene N._ meldete sich am 21. April 2008 bei der Invalidenversicherung zum Leistungsbezug an. Die Kantonale IV-Stelle Wallis führte am 3. Juni 2008 ein Assessment mit dem Versicherten durch. Gemäss Mitteilung vom 14. Juli 2008 gewährte die Invalidenversicherung eine Orientierungsmassnahme (Action emploi). Der Kursbeginn wurde auf den 24. Juli 2008 festgesetzt. Die Massnahme sollte bis 20. August 2008 dauern. N._ wurde auf die Pflicht zur Kursteilnahme sowie die gesetzlichen Folgen einer Pflichtverletzung hingewiesen.
Mit Verfügung vom 4. September 2008 lehnte die IV-Stelle den Anspruch von N._ auf Leistungen der Invalidenversicherung (berufliche Massnahmen, Taggeld, Rente) ab, weil der Versicherte während des Kurses nur ein minimalstes Interesse gezeigt habe; so habe er private Telefongespräche geführt, andere Kursteilnehmer gestört, sei abwesend gewesen und habe sich nicht kooperativ gezeigt, was letztlich zum Scheitern der Massnahme geführt habe. Gestützt auf die gesetzlichen Bestimmungen entfalle der Leistungsanspruch.
B. N._ liess Beschwerde führen und zur Hauptsache beantragen, unter Aufhebung der Verfügung sei ihm eine ganze Invalidenrente zuzusprechen. Ferner ersuchte er um die Bewilligung der unentgeltlichen Rechtspflege.
Mit Entscheid vom 23. Januar 2009 wies das Kantonsgericht Wallis das Gesuch um unentgeltlichen Rechtsbeistand ab und setzte dem Versicherten eine Frist von 30 Tagen zur Bezahlung eines Kostenvorschusses.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt N._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei das Kantonsgericht zu verpflichten, ihm die unentgeltliche Rechtspflege und für das vorinstanzliche Verfahren eine Parteientschädigung zu gewähren. Zudem ersucht er für das bundesgerichtliche Verfahren um die Bewilligung der unentgeltlichen Rechtspflege.
Das Kantonsgericht Wallis verzichtet auf eine Vernehmlassung.
D. Mit Verfügung vom 11. Mai 2009 wies das Bundesgericht das Gesuch um unentgeltliche Rechtspflege ab, weil die behauptete Bedürftigkeit nicht ausgewiesen sei, worauf N._ den von ihm gleichzeitig einverlangten Kostenvorschuss bezahlte.

Erwägungen:
1. Gegen selbstständig eröffnete, weder die Zuständigkeit noch den Ausstand (vgl. <ref-law>) betreffende Zwischenentscheide ist die Beschwerde an das Bundesgericht - abgesehen vom hier nicht gegebenen Ausnahmefall gemäss <ref-law> - nur zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>). Angefochten ist ein in einem hängigen kantonalen Beschwerdeverfahren ergangener Entscheid betreffend unentgeltliche Rechtspflege; dabei handelt es sich um einen Zwischenentscheid (Urteil 9C_286/2009), von dem die Rechtsprechung annimmt, er bewirke in der Regel einen nicht wieder gutzumachenden Nachteil, jedenfalls wenn nicht nur die unentgeltliche Rechtspflege verweigert, sondern zugleich auch die Anhandnahme des Rechtsmittels von der Bezahlung eines Kostenvorschusses durch die gesuchstellende Partei abhängig gemacht wird (zitiertes Urteil 9C_286/2009 vom 28. Mai 2009).
2. Gemäss <ref-law> bestimmt sich das Verfahren vor dem kantonalen Versicherungsgericht unter Vorbehalt von <ref-law> nach kantonalem Recht, das gewissen bundesrechtlichen Anforderungen zu genügen hat. So sieht lit. f von <ref-law> vor, dass das Recht, sich verbeiständen zu lassen, gewährleistet sein muss (erster Satz). Wo die Verhältnisse es rechtfertigen, wird der beschwerdeführenden Person ein unentgeltlicher Rechtsbeistand bewilligt (zweiter Satz). Gemäss <ref-law> bestellt das Bundesgericht der Partei einen Anwalt oder eine Anwältin, wenn es zur Wahrung ihrer Rechte notwendig ist. Gemäss <ref-law> hat die bedürftige Partei in einem für sie nicht aussichtslosen Verfahren Anspruch auf unentgeltliche Rechtspflege; soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand. Die unentgeltliche Rechtspflege bezweckt, auch der bedürftigen Partei den Zugang zum Gericht und die Wahrung ihrer Parteirechte zu ermöglichen (<ref-ruling> E. 3.1 S. 355). <ref-law> will nur sicherstellen, dass jedermann unabhängig von seinen finanziellen Verhältnissen nicht aussichtslose Streitsachen zur gerichtlichen Entscheidung bringen und sich dabei im Prozess, sofern es sachlich geboten ist, durch einen Anwalt vertreten lassen kann; der verfassungsmässige Anspruch soll der bedürftigen Partei die Mittel zur Prozessführung in die Hand geben und nicht etwa allgemein ihre finanzielle Situation verbessern helfen (<ref-ruling> E. 7.1 S. 2 mit Hinweis).
3. 3.1 Das Kantonsgericht Wallis wies das Gesuch um unentgeltliche Rechtspflege ab, weil es die Beschwerde als aussichtslos erachtete. Der Versicherte habe wiederholt zu erkennen gegeben, dass er an dem für ihn vorgesehenen Kurs kein Interesse hat. Die Gründe für die verfügte Leistungsverweigerung seien im Gesetz abgestützt.
3.2 Der Beschwerdeführer rügt u.a. eine Verletzung des rechtlichen Gehörs und die Tatsache, dass die IV-Stelle, ohne einen Vorbescheid erlassen zu haben, am 4. September 2008 die Ablehnung seines Leistungsgesuchs verfügt habe.
4. 4.1 Gemäss <ref-law> teilt die IV-Stelle der versicherten Person den vorgesehenen Endentscheid über ein Leistungsbegehren oder den Entzug oder die Herabsetzung einer bisher gewährten Leistung mittels Vorbescheid mit (Satz 1). Die versicherte Person hat Anspruch auf rechtliches Gehör im Sinne von <ref-law> (Satz 2). Gegenstand des Vorbescheids sind nach <ref-law> Fragen, die in den Aufgabenbereich gemäss Art. 57 Abs. 1 lit. a-d IVG der IV-Stellen fallen. Dazu zählen namentlich die Abklärung der Eingliederungsfähigkeit der versicherten Person, die Berufsberatung und die Arbeitsvermittlung (<ref-law>). Im Falle beruflicher Eingliederungsmassnahmen ist demzufolge ein Vorbescheidverfahren durchzuführen. Die erwähnten Fragen standen denn auch im Mittelpunkt der von der IV-Stelle eingeleiteten Abklärung. Es hätte daher nach Massgabe von <ref-law> ein Vorbescheidverfahren durchgeführt werden müssen.
4.2 Der angefochtene Entscheid enthält keine Feststellung zur Frage, ob ein Vorbescheidverfahren durchgeführt wurde. In Ergänzung der insoweit unvollständigen und damit bundesrechtswidrigen Sachverhaltsfeststellung durch das Bundesgericht (<ref-law>) ergibt sich nach Lage der Akten, dass in der Tat kein Vorbescheidverfahren stattgefunden hat, wie der Beschwerdeführer rügt. Mit Blick auf diesen Umstand sowie die Tatsache, dass zur Frage, welche Konsequenzen der Verzicht auf das seit 1. Juli 2006 gesetzlich verankerte Vorbescheidverfahren für das Verwaltungsverfahren der Invalidenversicherung hat, keine Rechtsprechung besteht, lässt sich der vom Beschwerdeführer vertretene, auf formellrechtlichen Einwendungen basierende Standpunkt nicht als aussichtslos bezeichnen, ohne dass die übrigen Einwendungen des Versicherten einer vertieften Überprüfung unterzogen werden müssten. Damit hat der Beschwerdeführer, sofern auch die Voraussetzung der Bedürftigkeit gegeben ist, was das Kantonsgericht prüfen wird, Anspruch auf unentgeltliche Rechtspflege, wogegen über die materielle Begründetheit der bei der Vorinstanz anhängig gemachten Beschwerde noch nichts ausgesagt ist.
5. Gestützt auf <ref-law> wird von der Erhebung von Gerichtskosten abgesehen. Der Kanton Wallis hat dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der angefochtene Entscheid vom 23. Januar 2009 aufgehoben wird. Die Sache wird an das Kantonsgericht Wallis zurückgewiesen, damit es über den Anspruch auf unentgeltliche Rechtspflege im kantonalen Verfahren neu entscheide.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Wallis hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2000.- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Kantonalen IV-Stelle Wallis, der Ausgleichskasse des Kantons Wallis und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. September 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer