Sachverhalt:
A. Mit Verfügung vom 7. Juni 2007 verneinte die IV-Stelle Bern den Anspruch des R._, geboren 1961, auf eine Invalidenrente mangels rentenbegründender Invalidität (Invaliditätsgrad: 14 %).
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 5. März 2008 ab.
C. R._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm mindestens eine Viertelsrente zuzusprechen; eventualiter sei die Sache zur neuen Beurteilung zurückzuweisen. Des Weiteren ersucht er um unentgeltliche Rechtspflege.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze zu den Begriffen der Erwerbsunfähigkeit (Art. 7 ATSG) und der Invalidität (Art. 8 ATSG in Verbindung mit Art. 4 Abs. 1 IVG), zum Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 IVG), zur Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (Art. 16 ATSG) sowie zum Beweiswert von Arztberichten und medizinischen Gutachten (<ref-ruling> E. 3 S. 352 ff., 122 V 157 E. 1c S. 160 ff.) zutreffend dargelegt. Darauf wird verwiesen.
3. Der Beschwerdeführer rügt zunächst die Würdigung der ärztlichen Berichte durch die Vorinstanz.
3.1 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398). Diese entziehen sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend.
3.2 Eine offensichtliche Unrichtigkeit der Feststellung des medizinischen Sachverhalts durch das kantonale Gericht ist vorliegend nicht ersichtlich, nachdem sich Verwaltung und Vorinstanz auf ein Gutachten des Neurochirurgen Dr. med. R._ (vom 4. September 2006) abstützen konnten. Diesem ist zu entnehmen, dass die geklagten Kreuzschmerzen aufgrund der klinischen Untersuchung nicht zu einer medizinisch-theoretischen Arbeitsunfähigkeit führen. Bezüglich der Magenbeschwerden (Hiatushernie) empfiehlt der Gutachter zwar eine Operation. Indessen lässt sich dieses Leiden - nachdem der Versicherte zu einer operativen Behandlung nicht bereit ist - gemäss Dr. med. L._ vom Regionalen Ärztlichen Dienst der IV-Stellen Bern/Freiburg/Solothurn auch medikamentös behandeln. Dass es sich dabei um die Einschätzung eines anstaltsinternen Arztes handelt, spricht nicht gegen den Beweiswert dieses Berichts (<ref-ruling> E. 3b/ee S. 353 f.; AHI 2001 S. 112 [I 128/98] E. 3b/ee mit Hinweisen).
4. 4.1 Die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommenvergleichs, einschliesslich derjenigen über die Anwendung der Schweizerischen Lohnstrukturerhebung, charakterisieren sich als Rechtsfragen (<ref-ruling> E. 3.3 S. 399) und sind als solche frei überprüfbar.
4.2 Die Rechtsprechung wendet zur Ermittlung des hypothetischen Invalideneinkommens, wenn die versicherte Person nach Eintritt des Gesundheitsschadens keine oder jedenfalls keine ihr an sich zumutbare neue Erwerbstätigkeit aufgenommen hat (<ref-ruling> E. 4.2.1 S. 475), in der Regel die Monatslöhne gemäss LSE-Tabelle TA1, Zeile "Total Privater Sektor", an (nicht publizierte E. 5.1 von <ref-ruling> [9C_237/2007]). Es besteht vorliegend kein Grund, ausnahmsweise auf die Durchschnittslöhne einer bestimmten Branche abzustellen. Der angefochtene Entscheid, welcher diesbezüglich auf die Verfügung der IV-Stelle vom 7. Juni 2007 verweist, ist damit in diesem Punkt nicht zu beanstanden.
5. Schliesslich beantragt der Beschwerdeführer einen höheren als den gewährten Abzug vom Tabellenlohn. Dabei handelt es sich jedoch um einen typischen Ermessensentscheid, welcher einer Korrektur nur bei rechtsfehlerhafter Ausübung des Ermessens durch das kantonale Gericht zugänglich wäre (Art. 95 lit. a BGG). Dafür bestehen bei der gewährten Reduktion von 10 % (anstelle der verlangten 20 %) keine Anhaltspunkte. Überdies führte ein höherer Abzug nicht zu einem rentenbegründenden Invaliditätsgrad.
6. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG). Die unentgeltliche Rechtspflege (im Sinne der Befreiung von den Gerichtskosten; Art. 64 Abs. 1 BGG) und Verbeiständung (Art. 64 Abs. 2 BGG) kann gewährt werden, weil die Bedürftigkeit aktenkundig ist, die Beschwerde nicht als aussichtslos zu bezeichnen ist und die Vertretung durch einen Rechtsanwalt oder eine Rechtsanwältin geboten war. Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Fürsprecher René Firmin, Thun, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2500.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, der Ausgleichskasse Promea und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. August 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung i.V. Lanz