Sachverhalt:
A. Der 1969 geborene H._ meldete sich am 27. Oktober 2005, Eingang am 1. November 2005, bei der Invalidenversicherung für eine Umschulung an. Nach verschiedenen Sachverhaltsabklärungen und Durchführung des Vorbescheidsverfahrens eröffnete ihm die IV-Stelle Bern mit Verfügung vom 25. September 2007, es bestehe kein Anspruch auf eine Invalidenrente. Gemäss dem polydisziplinären medizinischen Gutachten des Instituts X._, vom 25. Juni 2007 bestehe für leidensadaptierte Tätigkeiten seit Oktober 2004 eine Arbeitsfähigkeit von 80 %; der darauf gestützte Einkommensvergleich ergebe einen nicht rentenbegründenden Invaliditätsgrad von 35 %.
B. H._ erhob beim Verwaltungsgericht Bern Beschwerde. Er beantragte, die Verfügung vom 25. September 2007 sei aufzuheben. Es sei eine ganze Invalidenrente ab 1. Oktober 2005 zuzusprechen; eventuell sei die IV-Stelle zu verpflichten, berufliche/medizinische Massnahmen zu gewähren. H._ kündigte dabei an, einen Bericht der Psychiatrie Y._ nachzureichen. Nachdem die IV-Stelle ihre Vernehmlassung auf Abweisung der Beschwerde eingereicht hatte, setzte das Verwaltungsgericht H._ eine Frist, um den in Aussicht gestellten Bericht der Psychiatrie Y._ aufzulegen. Fristgerecht reichte H._ den Psychiatrie Y._-Bericht vom 28. November 2007 ein. Das Verwaltungsgericht gab der IV-Stelle Gelegenheit, sich dazu zu äussern. Davon machte die Verwaltung mit Stellungnahme vom 4. Februar 2008 Gebrauch, wobei sie sich auf eine beigelegte Ärztliche Beurteilung des Regionalen Ärztlichen Dienstes (RAD) vom 23. Januar 2008 stützte. Am 17. April 2008 fällte das Verwaltungsgericht folgenden Entscheid:
"1. Die Stellungnahme der Beschwerdegegnerin vom 4. Februar 2008 samt RAD-Bericht wird dem Beschwerdeführer zur Kenntnisnahme zugestellt.
2. Die Beschwerde wird abgewiesen."
Das Gericht auferlegte dem Beschwerdeführer sodann die Gerichtskosten von Fr. 700.-; eine Parteientschädigung sprach es nicht zu.
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der kantonale Entscheid aufzuheben und den vorinstanzlich im Hauptpunkt und eventualiter gestellten Leistungsbegehren zu entsprechen; eventuell sei die Sache in Aufhebung des kantonalen Entscheides zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zu äussern. Das Bundesamt für Sozialversicherungen (BSV) schliesst in seiner Vernehmlassung ebenfalls, die Beschwerde sei abzuweisen.
Erwägungen:
1. Der Beschwerdeführer erhebt formelle Rügen. Diese sind, obschon zur Begründung des Eventualantrages vorgebracht, vorab zu behandeln. Geltend gemacht wird, die Vorinstanz habe den Anspruch des Versicherten auf rechtliches Gehör verletzt: Zum einen sei dies im Zusammenhang mit dem RAD-Bericht vom 23. Januar 2008 geschehen. Zum anderen habe das kantonale Gericht im angefochtenen Entscheid die Begründungspflicht verletzt.
2. 2.1 Das kantonale Gericht hat dem Beschwerdeführer die Ärztliche Beurteilung des RAD vom 23. Januar 2008 zusammen mit der Stellungnahme der IV-Stelle vom 4. Februar 2008 zum Bericht der Psychiatrie Y._ vom 28. November 2007 erst mit dem hier angefochtenen Entscheid zur Kenntnis zugestellt. Der Versicherte konnte sich deswegen vor der Entscheidfällung durch das kantonale Gericht nicht mehr zur Ärztlichen Beurteilung des RAD äussern. Er sieht darin eine Verletzung seines Anspruchs auf rechtliches Gehör.
Demgegenüber verneint das BSV einen solchen formellen Mangel. Es führt dazu aus, bei der Ärztlichen Beurteilung vom 23. Januar 2004 handle es sich nicht um einen Abklärungsbericht des RAD, sondern lediglich um eine medizinische Stellungnahme zuhanden der Invalidenversicherung. Diese wiederum habe daraufhin selbst eine Eingabe verfasst, welcher der RAD-Bericht vollständigkeitshalber beigelegt worden sei. Bei dieser Eingabe der IV-Stelle handle es sich entgegen der Auffassung des Beschwerdeführers nicht um ein neues Beweismittel, sondern nur um eine Stellungnahme zu seinen neu eingebrachten Beweismitteln. Der Anspruch des Versicherten auf rechtliches Gehör werde dadurch nicht tangiert. Andernfalls könnte ein Verfahren unendlich in die Länge gezogen werden, indem zwischen den Parteien ein "Stellungnahmen-Pingpong" lanciert werde.
2.2 Zu den Rechtsverletzungen bei der Feststellung des Sachverhalts, welche nach Art. 97 Abs. 1 in Verbindung mit Art. 95 BGG mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten gerügt werden können, gehört namentlich auch die Verletzung des rechtlichen Gehörs (Art. 97 Abs. 1 BGG; Seiler/von Werdt/Güngerich, Bundesgerichtsgesetz [BGG], Bern 2007, N 22 f. zu Art. 97; Markus Schott, Basler Kommentar zum Bundesgerichtsgesetz, Basel 2008, N 16 ff. zu Art. 97).
Im vorliegenden Fall geht es um die besagte Ärztliche Beurteilung vom 23. Januar 2008. Darin hat sich eine auf Neurologie und Psychiatrie spezialisierte Fachärztin des RAD mit der ihr vom Rechtsdienst der IV-Stelle hauptsächlich unterbreiteten Frage befasst, ob mit dem Bericht des Berichtes der Psychiatrie Y._ vom 28. November 2007 eine dauerhafte Verschlechterung des Gesundheitszustandes mit entsprechenden Auswirkungen auf die Arbeitsfähigkeit ausgewiesen sei oder ob weiterhin auf das Gutachten des Instituts X._ vom 25. Juni 2007 abgestellt werden könne. Die RAD-Ärztin hat eine dauerhafte Verschlechterung des Gesundheitszustandes verneint und das Gutachten des Instituts X._ als verlässliche Grundlage für die Beurteilung der Arbeitsfähigkeit bezeichnet.
Die Ärztliche Beurteilung des RAD hätte dem Versicherten zugestellt werden müssen, damit er sich noch vor Fällung des kantonalen Gerichtsentscheides dazu hätte äussern können. Dass dies nicht erfolgt ist, rügt der Beschwerdeführer zu Recht als Gehörsverletzung (vgl. Urteil 8C_147/2007 vom 27. Februar 2008, E. 4.1 und 4.2 mit Hinweisen). Es verhält sich im Ergebnis nicht anders als in dem Fall, den das Eidgenössische Versicherungsgericht im Urteil I 211/06 vom 22. Februar 2007 (veröffentlicht in: SVR 2008 IV Nr. 13 S. 37, E. 5, insbes. 5.3 und 5.4) entschieden hat. Es ging um eine im (damals noch gesetzlich vorgesehenen) Einspracheverfahren von der IV-Stelle eingeholte RAD-Stellungnahme zu einem Arztbericht. Der versicherten Person blieb im Einspracheverfahren und im erstinstanzlichen Beschwerdeverfahren verwehrt, sich zu dieser RAD-Stellungnahme zu äussern (erwähntes Urteil I 211/06, E. 5.3). Das Eidgenössische Versicherungsgericht erkannte darin eine Verletzung des rechtlichen Gehörs. Dies gelte unabhängig davon, ob es sich nun um einen schriftlichen Bericht des RAD im Sinne von Art. 49 Abs. 3 IVV (in der bis Ende 2007 gültig gewesenen Fassung) oder um eine Exploration mittels eigener Untersuchungen im Sinne von Art. 49 Abs. 2 IVV (in der bis Ende 2007 gültig gewesenen Fassung) handle (erwähntes Urteil I 211/06, E. 5.4.2 mit Hinweisen; vgl. zur Bedeutung der RAD-Berichte nach Art. 49 Abs. 2 IVV auch: Urteil I 143/07 vom 14. September 2007, E. 3.3). Anzufügen bleibt, dass die Bestimmungen über die RAD im Rahmen der auf den 1. Januar 2008 in Kraft getretenen 5. IV-Revision teilweise revidiert wurden. An der Feststellung einer Gehörsverletzung im Sinne des Gesagten hat sich damit aber nichts geändert.
2.3 Nach der Rechtsprechung kann eine nicht besonders schwerwiegende Verletzung des rechtlichen Gehörs ausnahmsweise als geheilt gelten, wenn die betroffene Person die Möglichkeit erhält, sich vor einer Beschwerdeinstanz zu äussern, die sowohl den Sachverhalt wie die Rechtslage frei überprüfen kann. Unter dieser Voraussetzung ist darüber hinaus - im Sinne einer Heilung des Mangels - selbst bei einer schwerwiegenden Verletzung des Gehörs von einer Rückweisung der Sache an die Vorinstanz abzusehen, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (BGE 133 I 201 E. 2.2 S. 204, 132 V 387 E. 5.1 S. 390 mit Hinweis).
Das Bundesgericht urteilt in der vorliegenden Streitsache mit eingeschränkter Kognition (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG). Dies steht einer Heilung des festgestellten Mangels im letztinstanzlichen Verfahren entgegen. Der angefochtene Entscheid ist aufzuheben und die Sache ist an das kantonale Gericht zurückzuweisen. Dieses hat, nach formgerechter Gewährung des rechtlichen Gehörs, erneut über die Beschwerde zu befinden.
3. 3.1 Der Beschwerdeführer beanstandet in formeller Hinsicht weiter, das kantonale Gericht habe im angefochtenen Entscheid zwar die Beschwerde gesamthaft, d.h. im Hauptpunkt und hinsichtlich Eventualantrag, abgewiesen. Es setze sich in der Entscheidsbegründung aber nicht mit dem - auf Zusprechung von beruflichen/medizinischen Massnahmen - lautenden Eventualantrag auseinander.
Dies trifft zu und stellt eine Verletzung der - Teil des Anspruchs auf rechtliches Gehör bildenden - Begründungspflicht dar. Die Vorinstanz wird dem bei der erneuten Beurteilung ebenfalls Rechnung zu tragen haben.
3.2 Der Versicherte macht zudem geltend, das kantonale Gericht habe auch in anderer Hinsicht, insbesondere bei der Auseinandersetzung mit dem Gutachten des Instituts X._ vom 25. Juni 2007 und dem Bericht der Psychiatrie Y._ vom 28. November 2007, die Begründungspflicht verletzt. Diesbezüglich hat es mit der Feststellung sein Bewenden, dass der vom kantonalen Gericht neu zu fällende Entscheid den entsprechenden Formerfordernissen zu genügen haben wird.
4. Die Beschwerdegegnerin gilt als unterliegende Partei (Urteil 8C_241/2007 vom 9. Juni 2008, E. 2, mit Hinweis; vgl. auch Urteil 8C_671/2007 vom 13. Juni 2008, E. 4.1 mit Hinweisen), weshalb ihr die Gerichtskosten aufzuerlegen sind (Art. 66 Abs. 1 BGG) und sie dem Beschwerdeführer eine Parteientschädigung auszurichten hat (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 17. April 2008 aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie im Sinne der Erwägungen verfahre und über die Beschwerde gegen die Verfügung vom 25. September 2007 neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2500.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. September 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz