Sachverhalt:
A. Der 1957 geborene R._ hat nach der Gipserlehre als Gerüstmonteur/Gipser und später als Gerüstmonteur gearbeitet, zuletzt ab 12. August 2002 in der Firma X._ GmbH. Am 17. Februar 2004 sprach die Arbeitgeberin die Kündigung auf den 30. April 2004 aus. Im Juni 2004 meldete sich R._ unter Hinweis auf unfall- und krankheitsbedingte gesundheitliche Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern holte Arbeitgeber- und Arztberichte sowie einen Auszug aus dem individuellen Konto ein und zog die Akten des Unfallversicherers bei. Sie gewährte sodann Berufsberatung und veranlasste eine dreimonatige berufliche Abklärung in der Eingliederungsstätte Y._. Mit Verfügung vom 23. März 2006 verneinte die IV-Stelle einen Anspruch auf eine Invalidenrente mangels eines genügenden Invaliditätsgrades. Daran hielt sie auf Einsprache des Versicherten hin fest (Einspracheentscheid vom 22. September 2006).
B. Die von R._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 25. März 2008 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt R._ beantragen, es sei der kantonale Gerichtsentscheid aufzuheben und der Invaliditätsgrad auf 43 % festzusetzen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten je auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Mit Blick auf diese Kognitionsregelung ist auf Grund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene kantonale Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht, Völkerrecht oder kantonale verfassungsmässige Rechte verletzt (Art. 95 lit. a-c BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>). Hingegen hat unter der Herrschaft des BGG eine freie Überprüfung des vorinstanzlichen Entscheids in tatsächlicher Hinsicht zu unterbleiben, ausser wenn sich die Beschwerde gegen einen Entscheid über die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung richtet (<ref-law>).
2. Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente.
Im angefochtenen Entscheid sind die Bestimmungen über die Begriffe Erwerbsunfähigkeit (<ref-law>) und Invalidität (<ref-law>), über die Invaliditätsbemessung bei erwerbstätigen Versicherten mittels Einkommensvergleich (<ref-law>) sowie über die Voraussetzungen und den Umfang des Rentenanspruchs (<ref-law> in den bis Ende 2003 sowie von Anfang 2004 bis Ende 2007 gültig gewesenen Fassungen) zutreffend dargelegt. Gleiches gilt für die Rechtsprechung über die Aufgabe des Arztes bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99 f.; <ref-ruling> E. 4 S. 261, je mit Hinweisen) und über die Anforderungen an beweiskräftige ärztliche Berichte und Gutachten (<ref-ruling> E. 3a S. 352 mit Hinweis; vgl. auch <ref-ruling> E. 5.1 S. 232). Richtig ist auch, dass die mit der 5. IV-Revision auf den 1. Januar 2008 erfolgten Rechtsänderungen intertemporalrechtlich nicht anwendbar sind. Auf die entsprechenden Erwägungen im vorinstanzlichen Entscheid wird verwiesen.
3. 3.1 Das kantonale Gericht hat folgenden Einkommensvergleich für das Vergleichsjahr 2005 vorgenommen:
Das mutmassliche Einkommen ohne Gesundheitsschädigung (Valideneinkommen) setzte es gestützt auf die Angaben der Arbeitgeberin für das Jahr 2004 und unter Berücksichtigung der statistischen Lohnentwicklung aufs Jahr 2005 auf Fr. 66'293.- fest.
Bei der Bestimmung des trotz invalidisierender Gesundheitsschädigung zumutbarerweise noch erzielbaren Einkommens (Invalideneinkommen) erwog die Vorinstanz, es sei entgegen der vom Versicherten vertretenen Auffassung nicht auf das als Chauffeur bei der Eingliederungsstätte Y._ erzielten Einkommens abzustellen. Vielmehr seien Tabellenlöhne gemäss der Schweizerischen Lohnstrukturerhebung (LSE) heranzuziehen. Das kantonale Gericht ging hiebei vom monatlichen Bruttolohn (Zentralwert bei einer standardisierten Arbeitszeit von 40 Wochenstunden) der mit einfachen und repetitiven Tätigkeiten (Anforderungsniveau 4) im gesamten privaten Sektor beschäftigten Männer im Jahr 2004 von Fr. 4588.- (gemäss LSE 2004 Tabelle TA1 S. 53) aus, den es der betriebsüblichen Wochenarbeitszeit von 41.6 Stunden (gemäss Die Volkswirtschaft, Heft 12/2006, Tabelle B.9.2 S. 82) und der Nominallohnentwicklung bei Männern aufs Jahr 2005 von 0.9 % (gemäss Lohnentwicklung 2006 Tabelle T1.1.93 S. 30) anpasste. Den auf ein Jahr (x 12) resultierenden Lohn von Fr. 57'774.- rechnete das Gericht nach Massgabe eines zumutbaren Arbeitspensums von 90 % um und nahm von den sich ergebenden Fr. 51'996.- einen leidensbedingten Abzug von 15 % vor. Dies führt zu einem Invalideneinkommen von Fr. 44'197.- und in Gegenüberstellung mit dem Valideneinkommen von Fr. 66'293.- zu einem Invaliditätsgrad, der mit gerundet 33 % unter den für einen Rentenanspruch mindestens erforderlichen 40 % (Art. 28 Abs. 1 in der bis Ende 2007 gültig gewesenen Fassung) liegt.
3.2 In der Beschwerde wird eingewendet, das kantonale Gericht habe nicht begründet, weshalb es im Bereich der leichten Tätigkeiten von einer Arbeitsfähigkeit von 90 % ausgehe. Es treffe denn auch nicht zu, dass jede leichte Arbeit in gleichem Umfang ausgeübt werden könne Die berufliche Abklärung habe eine Leistungsfähigkeit im Bereich der Montage von 70 % sowie im Bereich Transport und Logistik von 40 % ergeben; als Chauffeur sei eine Steigerung bis auf 80 %, allenfalls sogar bis auf 100 % denkbar, sofern der Arbeitgeber gewisse Einschränkungen akzeptiere. Aufgrund der gesundheitlichen Einschränkungen könne der Versicherte aber auf dem freien Markt keine Stelle finden, welche entsprechend einem statistischen Tabellenlohn entlöhnt würde. Die geeignetste Tätigkeit sei die eines Chauffeurs im Bereich Kleintransport. Der bei der Ausübung dieser Tätigkeit bei der Eingliederungsstätte Y._ erzielte Lohn von Fr. 38'098.50 im Jahr entspreche exakt dem Leistungsvermögen des Beschwerdeführers und sei daher als Invalideneinkommen anzurechnen. Der Vergleich mit dem Valideneinkommen von Fr. 66'293.- ergebe einen rentenbegründenden Invaliditätsgrad von 43 %. Sollte dieser Betrachtungsweise nicht gefolgt werden, könnte der Rentenanspruch nicht ohne ergänzende medizinische Abklärungen beurteilt werden.
3.3 Umstritten ist mithin das Invalideneinkommen und hiebei zunächst die Frage, ob auf den bei der Eingliederungsstätte Y._ erzielten Lohn oder auf Tabellenlöhne abzustellen ist. Ist von letzterem auszugehen, gilt es die Einwände betreffend Art und Pensum des noch zumutbaren Arbeitseinsatzes zu prüfen.
3.3.1 Nach <ref-law> ist beim Einkommensvergleich als Invalideneinkommen dasjenige Erwerbseinkommen einzusetzen, welches der Versicherte nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihm zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte. Wie das Bundesgericht wiederholt betont hat, bildet der von invaliden Versicherten tatsächlich erzielte Verdienst für sich allein betrachtet grundsätzlich kein genügendes Kriterium für die Bestimmung der Erwerbsunfähigkeit, das heisst des Invaliditätsgrades. Das Mass der tatsächlichen Erwerbseinbusse stimmt mit dem Umfang der Invalidität vielmehr nur dann überein, wenn - kumulativ - besonders stabile Arbeitsverhältnisse eine Bezugnahme auf den allgemeinen Arbeitsmarkt praktisch erübrigen, wenn die versicherte Person eine Tätigkeit ausübt, bei der anzunehmen ist, dass sie die ihr verbliebene Arbeitsfähigkeit in zumutbarer Weise voll ausschöpft, und wenn das Einkommen aus der Arbeitsleistung als angemessen und nicht als Soziallohn erscheint (<ref-ruling> E. 4.2.1 S. 475; <ref-ruling> S. 18 mit Hinweisen).
In dem am 22. Juni 2006 mit der Eingliederungsstätte Y._ abgeschlossenen Arbeitsvertrag wird die Tätigkeit des Beschwerdeführers mit Chauffeur angegeben. Der Vertrag ist aber ausdrücklich auf die drei Monate Juni bis August 2006 befristet. Es wird weder geltend gemacht noch belegt, dass er verlängert oder erneuert worden wäre. Zudem erfolgte der Einsatz des Versicherten gemäss vertraglicher Regelung nicht mit einem fixen Pensum, sondern auf Abruf. Gemäss den aufgelegten Abrechnungen war der erzielte Lohn denn auch von Monat zu Monat sehr unterschiedlich. Von besonders stabilen Arbeitsverhältnissen kann unter diesen Umständen keine Rede sein. Es ist daher nicht zu beanstanden, dass das kantonale Gericht nicht auf den erzielten Lohn abgestellt hat. Da keine Erwerbstätigkeit ausgeübt wird, welche die Restarbeitsfähigkeit im zumutbaren Rahmen ausschöpft, hat es richtigerweise Tabellenlöhne verwendet (<ref-ruling> E. 4.2.1 S. 475; <ref-ruling> E. 3b/bb S. 76 f. mit Hinweisen).
Bezüglich des zumutbaren Arbeitseinsatzes ergibt sich Folgendes:
Der Versicherte hat sich bereits vorinstanzlich auf die gemäss beruflicher Abklärung gegebene Restarbeitsfähigkeit in den Bereichen Montage (70 %), Transport und Logistik (40 %) sowie Chauffeur (bei angepasster Tätigkeit 80 - 100 %; vgl. E. 3.2 hievor) berufen. Das kantonale Gericht hat sich damit auseinandergesetzt und erwogen, zwar habe sich bei der beruflichen Abklärung eine Tätigkeit im Bereich Kleintransport mit Kleinlasten, für welchen eine Arbeitsfähigkeit von 80 - 100 % bestätigt wurde, als am besten geeignet erwiesen. Die Einsatzmöglichkeiten in diesem Umfang seien indessen nicht auf die Tätigkeit eines Chauffeurs beschränkt, auch wenn eine solche offenbar den Neigungen des Versicherten am ehesten entspreche. Das massgebende Zumutbarkeitsprofil, für welches medizinische und berufliche Aspekte zu berücksichtigen seien, lasse eine Palette an geeigneten Tätigkeiten offen. Es sei daher auch nicht zu beanstanden, wenn die Verwaltung bei den Tabellenlöhnen die bereichsübergreifenden Werte im gesamten privaten Sektor und nicht die Löhne in einem spezifischen Tätigkeitsbereich verwendet habe. Ein Rentenanspruch ergebe sich im Übrigen selbst dann nicht, wenn die Tabellenlöhne im Transportgewerbe herangezogen würden. Denn diese seien höher als der Totalwert, womit sich sogar ein niedrigerer Invaliditätsgrad ergäbe.
Aus den vorinstanzlichen Erwägungen ergibt sich, dass das kantonale Gericht bei der angenommenen Restarbeitsfähigkeit von 90 % für angepasste Tätigkeiten vom Durchschnitt der gemäss beruflicher Abklärung für angepasste Chauffeurtätigkeiten geltenden Spanne von 80 - 100 % ausgegangen ist. Es hat geschlossen, diese Einschätzung des Leistungsvermögen gelte auch für andere angepasste körperlich leichte Arbeiten. Diese Feststellung ist weder offensichtlich unrichtig noch rechtsfehlerhaft. Sie widerspricht namentlich auch nicht den fachärztlichen Beurteilungen gemäss dem undatierten, am 10. Februar 2005 bei der Verwaltung eingegangenen Bericht des orthopädischen Chirurgen Dr. med. R._ sowie dem kreisärztlichen Untersuchungsbericht vom 1. Juni 2005.
Ergänzender ärztlicher Abklärungen bedarf es entgegen der eventualiter vorgebrachten Begründung in der Beschwerde nicht. Die vorhandenen Akten gestatten die zuverlässige Beurteilung des medizinischen Sachverhaltes.
3.3.2 Was den weiteren Einwand betrifft, es liessen sich auf dem freien Arbeitsmarkt keine geeigneten Stellen finden, ist festzuhalten, dass es bei der Bestimmung des Invalideneinkommens auf den ausgeglichenen Arbeitsmarkt ankommt (<ref-law>). Dieser ist gekennzeichnet durch ein gewisses Gleichgewicht zwischen Angebot und Nachfrage nach Arbeitskräften und weist einen Fächer verschiedenster Tätigkeiten auf und zwar sowohl bezüglich der dafür verlangten beruflichen und intellektuellen Voraussetzungen wie auch hinsichtlich des körperlichen Einsatzes (<ref-ruling> E. 4b S. 276 und seitherige Entscheide; aus jüngster Zeit: Urteil 9C_442/2008 vom 28. November 2008 E. 4.1). Wenn das kantonale Gericht davon ausgegangen ist, der allgemeine Arbeitsmarkt biete Stellen, welche dem zumutbaren Einsatzprofil des Versicherten entsprechen, ist dies ebenfalls nicht zu beanstanden.
3.4 Der von der Vorinstanz vorgenommene Einkommensvergleich ist im Übrigen nicht umstritten und gibt zu keinen weiteren Bemerkungen Anlass. Es bleibt damit bei der Verneinung eines Rentenanspruchs.
4. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse des Schweizerischen Gewerbes und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Januar 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz