Sachverhalt:
A. Der 1957 geborene V._, mazedonischer Staatsangehöriger, war vom 9. Mai 1988 bis 31. März 2004 als Bauarbeiter in der Firma X._ angestellt. Im Juni 2004 meldete er sich bei der Invalidenversicherung zum Leistungsbezug (Umschulung, Rente) an unter Hinweis darauf, dass er seit einem am 3. Dezember 1995 erlittenen Unfall unter Rückenschmerzen leide. Die IV-Stelle Bern klärte die gesundheitlichen und erwerblichen Verhältnisse ab und sprach ihm Beratung und Unterstützung bei der Stellensuche zu (Verfügung vom 1. September 2004). Mit Verfügung vom 18. Mai 2006 lehnte sie sodann die Ausrichtung einer Invalidenrente ab, woran sie auf Einsprache des Versicherten hin festhielt; des Weitern verneinte sie den Anspruch auf unentgeltliche Verbeiständung für das Einspracheverfahren (Entscheid vom 23. April 2007).
B. Beschwerdeweise liess V._ das Rechtsbegehren stellen, der angefochtene Entscheid sei aufzuheben und es sei eine MEDAS-Begutachtung durchzuführen. Es sei ihm für das Einspracheverfahren die unentgeltliche Verbeiständung und für das Beschwerdeverfahren die unentgeltliche Rechtspflege (Prozessführung, Verbeiständung) zu gewähren.
Das Gesuch um unentgeltliche Rechtspflege wies der kantonale Instruktionsrichter am 20. Juli 2007 ab. Mit Entscheid vom 14. Januar 2008 hiess das Verwaltungsgericht des Kantons Bern die Beschwerde insoweit gut, als es die den Anspruch auf unentgeltliche Rechtspflege verneinende Ziffer des Einspracheentscheides aufhob und die Sache im Sinne der Erwägungen zur Prüfung der Voraussetzungen der finanziellen Bedürftigkeit im Hinblick auf die unentgeltliche Verbeiständung im Verwaltungsverfahren an die IV-Stelle zurückwies (Ziffer 1 Satz 1). Soweit weitergehend wies es die Beschwerde ab (Ziffer 1 Satz 2).
C. V._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, es sei Ziffer 1 Satz 2 des angefochtenen Entscheides aufzuheben und die IV-Stelle anzuweisen, das Verfahren wieder aufzunehmen und eine polymedizinische Begutachtung durchzuführen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente. Das kantonale Gericht hat die für dessen Beurteilung massgebenden ATSG- und IVG-Bestimmungen (je in der bis Ende 2007 gültig gewesenen Fassung) zutreffend dargelegt. Ebenfalls richtig wiedergegeben hat es die Rechtsprechung, wonach somatoforme Schmerzstörungen nur ausnahmsweise eine Invalidität im Rechtssinne begründen (<ref-ruling> E. 4 S. 70 ff. [mit Hinweisen]; <ref-ruling> E. 1.2 S. 50 f.; <ref-ruling> und 396; vgl. SVR 2008 IV Nr. 1 S. 1 E. 5.2, l 176/06 vom 26. Februar 2007). Darauf wird verwiesen.
3. 3.1 Es steht fest und ist unbestritten, dass die IV-Stelle dem Beschwerdeführer das Gutachten des Dr. med. A._, Physikalische Medizin und Rehabilitation, speziell Rheumaerkrankungen FMH, vom 6. Juni 2006 (ebenso wie die Ausführungen des Regionalen Ärztlichen Dienstes [RAD] vom 4. Juli 2006) erst am 29. Mai 2007 - nach Erlass des Einspracheentscheides (23. April 2007) - zur Kenntnis gebracht hat. Wie bereits im kantonalen Verfahren macht der Beschwerdeführer diesbezüglich eine Verletzung des rechtlichen Gehörs (<ref-law>) geltend.
3.2 Dass das Gutachten des Dr. med. A._ vom 6. Juni 2006 dem Beschwerdeführer vor Erlass des Einspracheentscheides hätte zugestellt werden müssen (vgl. auch <ref-ruling> E. 5b/bb S. 278), wie der Beschwerdeführer erneut geltend macht, hat bereits die Vorinstanz zutreffend festgestellt. Selbst wenn dies auch auf die Stellungnahme des RAD vom 4. Juli 2006 zutrifft, führt diese Verletzung des rechtlichen Gehörs - anders als der Beschwerdeführer annimmt - nicht automatisch zur Kassation des Einspracheentscheides; vielmehr ist der Mangel einer Heilung im kantonalen Verfahren zugänglich, weil es sich bei der Beschwerde nach <ref-law> um ein vollkommenes Rechtsmittel handelt, welches eine Überprüfung des angefochtenen Entscheides in tatsächlicher und rechtlicher Hinsicht ermöglicht (vgl. <ref-ruling> E. 5.1 S. 390 mit Hinweisen).
3.3 Dass die Einwendungen gegen das Gutachten des Dr. med. A._ vom 6. Juni 2006, wie der Beschwerdeführer geltend macht, nicht mehr hätten moniert werden können, trifft nur auf die Zeit vor Erlass des Einspracheentscheides zu. Denn im kantonalen Verfahren erhielt der Beschwerdeführer ohne Einschränkungen Gelegenheit, sich zum streitigen Gutachten vom 6. Juni 2006 - wie im Übrigen auch zur Stellungnahme des RAD vom 4. Juli 2006 - zu äussern, wovon er denn auch umfassend Gebrauch gemacht hat, so dass der Mangel als geheilt zu gelten hat.
4. 4.1 Nach eingehender Würdigung der medizinischen Akten gelangte die Vorinstanz zum Ergebnis, dass dem Beschwerdeführer aus rheumatologischer und psychiatrischer Sicht der bisher ausgeübte Beruf als Bauarbeiter nicht mehr zumutbar sei, der Beschwerdeführer indessen eine leichte bis mittelschwere Tätigkeit vollzeitlich ausüben könne.
4.2 Die Einwände des Beschwerdeführers, welche im Wesentlichen eine Wiederholung des bereits im kantonalen Verfahren Vorgebrachten darstellen, lassen diese Tatsachenfeststellungen (<ref-ruling> E. 3.2 S. 397 f.) weder als offensichtlich unrichtig noch sonst wie bundesrechtswidrig erscheinen.
Insbesondere vermag der Beschwerdeführer seine Behauptung, es bestehe eine weitergehende Arbeitsunfähigkeit aus somatischen Gründen, durch nichts zu belegen, wurden doch durch Dr. med. A._ in seinem Gutachten vom 6. Juni 2006 - in Übereinstimmung mit den behandelnden Ärzten - einzig eine muskuläre Dysbalance, mässige degenerative Veränderungen der Wirbelsäule und arthrotische Veränderungen der rechten Hand festgestellt und hat der Gutachter detailliert und überzeugend begründet, weshalb er dem Versicherten aus somatischer Sicht, namentlich unter Berücksichtigung der arthrotischen Veränderungen in der rechten Hand, eine volle Arbeitsfähigkeit in einer leichten bis mittelschweren Tätigkeit attestierte.
Soweit der Beschwerdeführer geltend macht, die psychiatrische Begutachtung hätte wegen seiner sprachlichen Verständigungsschwierigkeiten mit einem neutralen Übersetzer stattfinden sollen, ist darauf hinzuweisen, dass Dr. med. B._ in seinem Gutachten vom 15. April 2006 ausdrücklich festhielt, die Sprachverständigung auf Deutsch sei ausreichend. Es fehlen jegliche Hinweise dafür, dass es sich hierbei um eine tatsachenwidrige Behauptung handelt und in Wirklichkeit erhebliche Sprach-/Verständigungsschwierigkeiten einer gutachterlichen Exploration lege artis entgegenstanden.
Nicht beigepflichtet werden kann dem Beschwerdeführer auch, soweit er rügt, es hätte eine interdisziplinäre statt je separat eine rheumatologische und eine psychiatrische Begutachtung - mit immerhin mündlichem Austausch unter den Gutachtern (vgl. Gutachten des Dr. med. B._ vom 15. April 2006) - vorgenommen werden sollen. Es trifft zwar zu, dass beim Zusammenwirken physischer und psychischer Beeinträchtigungen grundsätzlich eine interdisziplinäre Betrachtung angezeigt ist (Urteil I 130/06 vom 9. Mai 2007, E. 8.4; vgl. auch SVR 2008 IV Nr. 15 S. 43 E. 2.1, I 514/06). Da indessen Dr. med. B._ und Dr. med. A._ nach gemeinsamer Betrachtung übereinstimmend davon ausgingen, dass dem Beschwerdeführer die bisher ausgeübte Tätigkeit nicht mehr zumutbar ist, eine leichte bis mittelschwere Tätigkeit indessen ohne Leistungseinbusse ausgeübt werden könnte, stand dem von der IV-Stelle gewählten Vorgehen nichts im Wege. Namentlich stellte sich bei dieser Sachlage die im Zentrum jeder interdisziplinären Begutachtung stehende Frage, wie mit den verschiedenen Teilarbeitsunfähigkeiten umzugehen ist, gar nicht.
Schliesslich kann der Vorinstanz auch keine bundesrechtswidrige, den Untersuchungsgrundsatz verletzende antizipierte Beweiswürdigung vorgeworfen werden. Denn die für die Prüfung der Frage, ob der somatoformen Schmerzstörung ausnahmsweise invalidisierende Wirkung zukommt, relevanten medizinischen Fakten und persönlichen Umstände (Diagnosen, Begleiterkrankungen, Therapiebestrebungen, soziale Rückzugstendenzen, Krankheitsgewinn etc.) sind rechtsgenüglich erstellt. Bei dieser Sachlage vermöchte auch eine weitere ärztliche Beurteilung nichts daran zu ändern, dass es an einem hinreichend ausgeprägten (psycho)pathologischen Substrat fehlt, um einen invalidisierenden psychischen Gesundheitsschaden bejahen zu können. Es besteht mithin kein Anlass für eine Rückweisung der Sache zwecks Einholung eines polymedizinischen Gutachtens zur Frage der Restarbeitsfähigkeit.
5. 5.1 Im Rahmen des Einkommensvergleichs übernahm die Vorinstanz nicht das von der IV-Stelle gestützt auf die Angaben der ehemaligen Arbeitgeberin ermittelte Valideneinkommen von Fr. 62'296.- (13 x Fr. 4'792.-) für das Jahr 2004 mit der Begründung, der Beschwerdeführer habe jeweils nur von März bis Dezember gearbeitet und die Monate Januar und Februar ferienhalber in seiner Heimat verbracht; für diesen freiwilligen Verzicht auf eine Ganzjahrestätigkeit habe nicht die Invalidenversicherung einzustehen. Auszugehen sei vielmehr vom höchsten, vom Beschwerdeführer je erzielten Einkommen von Fr. 47'299.- im Jahr 2002, so dass nach Hochrechnung auf das Jahr 2004 ein Valideneinkommen von Fr. 47'937.- (Fr. 47'299.- : 111,2 x 112,7) resultiere. Für das Invalideinkommen stützte sich das kantonale Gericht auf den in der Lohnstrukturerhebung (LSE) 2004 für Männer im Anforderungsniveau 4 im privaten Sektor ausgewiesenen Tabellenwert (Fr. 4'588.-), rechnete diesen auf ein Jahreseinkommen und die durchschnittliche betriebsübliche Arbeitszeit hoch (12 x Fr. 4'588.- : 40 x 41,6 = Fr. 57'258.20) und gelangte nach Vornahme eines leidensbedingten Abzuges von 10 % - statt 20 % wie von der IV-Stelle angenommen - zu einem Einkommen von Fr. 51'532.40. Aus der Gegenüberstellung der beiden Vergleichseinkommen resultierte keine rentenrelevante Erwerbseinbusse.
5.2 Auf der beruflich-erwerblichen Stufe der Invaliditätsbemessung charakterisieren sich als Rechtsfragen die Regeln über die Durchführung des Einkommensvergleichs (<ref-ruling> E. 3.4 S. 348 f., 128 V 29 E. 1 S. 30 f.), einschliesslich derjenigen über die Anwendung der LSE (<ref-ruling> E. 4.2.1 S. 475 f., 126 V 75 E. 3b/bb S. 76 f., 124 V 321 E. 3b/aa S. 322 f.). Die Feststellung der beiden hypothetischen Vergleichseinkommen stellt sich als Tatfrage dar, soweit sie auf konkreter Beweiswürdigung beruht, hingegen als Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Letzteres betrifft etwa die Frage, ob Tabellenlöhne anwendbar sind, welches die massgebliche Tabelle ist und ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vorzunehmen sei. Demgegenüber beschlägt der Umgang mit den Zahlen in der massgeblichen LSE-Tabelle eine Tatfrage. Schliesslich ist die Frage nach der Höhe des Abzuges eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat (<ref-ruling> E. 3.3 S. 399).
5.3 Gegen die vorinstanzliche Ermittlung des Valideneinkommens bringt der Beschwerdeführer zu Unrecht vor, die Vorinstanz habe die Akten wohl falsch verstanden, habe er doch sein Pensum nie freiwillig reduziert, sondern stets 100 % gearbeitet. Denn aufgrund der für die Monate März bis Dezember der Jahre 2002 und 2003 einem Vollpensum entsprechende Lohnzahlungen und für die Monate Januar und Februar derselben Jahre keinerlei Lohnzahlungen ausweisenden Angaben im Fragebogen für den Arbeitgeber steht fest, dass der Beschwerdeführer nur in den Monaten März bis Dezember der Jahre 2002 und 2003 ein Vollpensum innegehabt hat, so dass über das ganze Jahr betrachtet nur ein Teilpensum resultiert. Daraus hat die Vorinstanz zu Recht den Schluss gezogen, dass - entgegen dem Vorgehen der IV-Stelle - für die Ermittlung des Jahreseinkommens nicht etwa das von der Arbeitgeberin für 2004 mit Fr. 4'792.- pro Monat angegebene Einkommen mit 13 multipliziert werden kann, sondern - weil dies den tatsächlichen Verhältnissen am ehesten entspricht - vom höchsten in der Vergangenheit erzielten Einkommen auszugehen (Fr. 47'299.- [einschliesslich 13. Monatslohn] im Jahr 2002 gemäss IK-Auszug) und dieses auf das Jahr 2004 hochzurechnen ist. Nicht viel höher (und ohne Einfluss auf das Ergebnis) würde das Valideneinkommen im Übrigen ausfallen, wenn das von der Arbeitgeberin für 2004 angegebene Einkommen mit 10 multipliziert und ein anteilmässiger 13. Monatslohn (Fr. 3'993.-) eingerechnet würde (Fr. 51'913.-). Da es sich bei der vom Beschwerdeführer letztinstanzlich hinsichtlich des Invalideneinkommens einzig monierten Höhe des vom Tabellenlohn gewährten Abzuges (10 %) um eine Ermessensfrage handelt und das kantonale Gericht das Ermessen nicht rechtsfehlerhaft ausgeübt hat (vgl. dazu <ref-ruling> E. 3.3 S. 399), lässt sich auch gegen die vorinstanzliche Festsetzung des Invalideneinkommens (Fr. 51'532.40) nichts einwenden.
Zusammenfassend ergibt sich, dass die vorinstanzliche Verneinung eines Rentenanspruches mangels rentenrelevanter Erwerbseinbusse (Valideneinkommen: Fr. 47'937.-; Invalideneinkommen: Fr. 51'532.40) nicht zu beanstanden ist, an welchem Ergebnis sich im Übrigen selbst dann nichts ändern würde, wenn von einem Valideneinkommen von Fr. 51'913.- ausgegangen würde.
6. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. September 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann