Sachverhalt:
A. Der 1956 geborene H._ war seit 1979 in verschiedenen Anstellungen in der Schweiz tätig, zuletzt bei der Firma I._ AG als Mitarbeiter Produktion im Ressort Betriebswäsche. Am 12. September 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug. Nach Abklärungen in medizinischer und erwerblicher Hinsicht, insbesondere einem Gutachten des Instituts X._ vom 18. März 2004, wies die IV-Stelle Bern mit Verfügung vom 6. April 2004 den Anspruch auf eine Invalidenrente gestützt auf einen Invaliditätsgrad von 25% ab. Diese Verfügung erwuchs unangefochten in Rechtskraft.
Am 5. August 2005 meldete sich H._ erneut zum Bezug einer IV-Rente an. Nach weiteren Abklärungen und einem neuen Gutachten des Instituts X._ vom 18. Januar 2007 wies die IV-Stelle das Leistungsbegehren mit Verfügung vom 17. April 2007 wiederum ab, diesmal gestützt auf einen Invaliditätsgrad von 20%.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 18. März 2008 ab.
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei ihm ab 5. August 2005 eine ganze Invalidenrente basierend auf einem Invaliditätsgrad von mindestens 70% auszurichten. Eventualiter sei ihm eine halbe Rente auszurichten, subeventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem beantragt er die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Das Bundesamt für Sozialversicherungen (BSV) und die IV-Stelle schliessen auf Abweisung der Beschwerde.
Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2 Im Rahmen der Invaliditätsbemessung betrifft die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung und die gestützt darauf gestellte Diagnose, ebenso eine Tatfrage wie die auf Grund von medizinischen Untersuchungen gerichtlich festgestellte Arbeitsunfähigkeit (BGE 132 V 393 E. 3.2 S. 398). Sie entziehen sich nach der in E. 1.1 dargelegten Kognitionsregelung einer Überprüfung durch das Bundesgericht weitgehend. Analoges gilt für die Frage, ob sich eine Arbeits(un)fähigkeit in einem bestimmten Zeitraum in einem revisionsrechtlich relevanten Sinne verändert hat (Urteil I 865/06 vom 12. Oktober 2007, E. 4). Demgegenüber charakterisieren sich auf der beruflich-erwerblichen Stufe der Invaliditätsbemessung als Rechtsfragen die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs (BGE 130 V 343 E. 3.4 S. 348 f., 128 V 29 E. 1 S. 30 f., 104 V 135 E. 2a und b S. 136 f.), einschliesslich derjenigen über die Anwendung der Schweizerischen Lohnstrukturerhebung des Bundesamtes für Statistik (LSE; BGE 129 V 472 E. 4.2.1 S. 475 f., 126 V 75 E. 3b/bb S. 76 f., 124 V 321 E. 3b/aa S. 322 f.). Die Bestimmung der beiden für den Einkommensvergleich erforderlichen hypothetischen Vergleichseinkommen stellt sich als Tatfrage dar, soweit sie auf konkreter Beweiswürdigung beruht, hingegen als Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Letzteres betrifft etwa die Frage, ob Tabellenlöhne anwendbar sind, welches die massgebliche Tabelle ist und ob ein behinderungsbedingt oder anderweitig begründeter Leidensabzug vorzunehmen sei. Auch die Frage, welche hypothetischen Erwerbseinkommen im Rahmen des Einkommensvergleichs nach Art. 16 ATSG miteinander in Beziehung zu setzen sind, ist Rechtsfrage (Urteil 9C_189/2008 vom 19. August 2008). Die Frage nach der Höhe eines in einem konkreten Fall grundsätzlich angezeigten leidensbedingten Abzuges ist hingegen eine typische Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht sein Ermessen rechtsfehlerhaft ausgeübt hat (BGE 132 V 393 E. 3.3 S. 399). Schliesslich stellt die konkrete Beweiswürdigung eine Tatfrage dar, während die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage ist (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; erwähntes Urteil I 865/06, E. 4 mit Hinweisen).
1.3 Neue Tatsachen und Beweismittel dürfen im Verfahren vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). In der Beschwerde ist darzutun, inwiefern diese Voraussetzung für eine nachträgliche Einreichung von Beweismitteln erfüllt sein soll (BGE 133 III 393 E. 3 S. 395).
2. Die Vorinstanz hat die Bestimmungen und Grundsätze über die Arbeitsunfähigkeit (Art. 6 ATSG), die Erwerbsunfähigkeit (Art. 7 ATSG), die Invalidität (Art. 8 Abs. 1 ATSG, Art. 4 Abs. 1 IVG), die Invaliditätsbemessung bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (Art. 16 ATSG; vgl. BGE 130 V 343 E. 3.4 S. 348), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 IVG in der seit 1. Januar 2004 bis 31. Dezember 2007 gültig gewesenen Fassung), die Ermittlung des ohne Invalidität erzielbaren Einkommens (Valideneinkommen; vgl. BGE 129 V 222 E. 4.3.1 S. 224 mit Hinweis) sowie die Bestimmung des trotz Gesundheitsschädigung zumutbarerweise noch erzielbaren Einkommens (Invalideneinkommen) nach den vom Bundesamt für Statistik in der Lohnstrukturerhebung (LSE) ermittelten Tabellenlöhnen (vgl. BGE 129 V 472 E. 4.2.1 S. 475 und E. 4.2.3 S. 481) zutreffend dargelegt. Dies gilt ebenso für die vorinstanzlichen Erwägungen zur Neuanmeldung nach vorangegangener rechtskräftiger Rentenverweigerung infolge wesentlicher Änderung der tatsächlichen Verhältnisse (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV); richtig ist dabei insbesondere, dass die Verwaltung nach der Rechtsprechung in analoger Weise wie bei einem Revisionsfall (Art. 17 ATSG) vorzugehen hat (BGE 130 V 71 E. 3.2 S. 75). Beizupflichten ist schliesslich den Ausführungen zur Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (BGE 132 V 93 E. 4 S. 99), zum Untersuchungsgrundsatz (Art. 43 Abs. 1, Art. 61 lit. c ATSG), zum Grundsatz der freien Beweiswürdigung und zum Beweiswert von Arztberichten (BGE 134 V 231 E. 5.1 S. 232, 125 V 351 E. 3 S. 352, SVR 2007 UV Nr. 33 S. 111 E. 4.2, U 571/06, je mit Hinweisen) sowie zur antizipierten Beweiswürdigung (BGE 131 I 153 E. 3 S. 157; SVR 2007 IV Nr. 45 S. 149 E. 4, I 9/07). Darauf wird verwiesen.
3. Streitig ist, ob dem Beschwerdeführer eine Rente der Invalidenversicherung zusteht. Nachdem die IV-Stelle den Leistungsanspruch bereits einmal mit Verfügung vom 6. April 2004 abgelehnt hatte, steht nunmehr in Frage, ob sich der Grad der Invalidität im revisionsrechtlich relevanten Zeitraum seit dieser Verfügung bis zur Verfügung vom 17. April 2007 in einer für den Rentenanspruch erheblichen Weise verändert hat (vgl. BGE 130 V 71, 109 V 262 E. 4a S. 265).
4. 4.1 Zunächst rügt der Beschwerdeführer hinsichtlich der Arbeitsfähigkeit, die Beweiswürdigung der Vorinstanz sei willkürlich. Das kantonale Gericht hätte nicht ausschliesslich gestützt auf das Gutachten des Instituts X._ eine Arbeitsfähigkeit von 75% annehmen dürfen, sondern hätte das Gutachten des Dr. med. Z._ mit einer Arbeitsunfähigkeitsschätzung von 100% mindestens teilweise beachten oder ein Obergutachten in Auftrag geben müssen. Das erste Gutachten schätze die Arbeitsunfähigkeit viermal höher als das zweite. Diesem Verhältnis müsse Rechnung getragen werden, ansonsten das kantonale Gericht in Willkür verfalle. Die Arbeitsunfähigkeit entspreche mindestens dem Betrag, in dem sich die beiden Gutachten voneinander unterscheiden, d.h. 75%.
4.2 Die Vorinstanz hat im Rahmen freier Beweiswürdigung (Art. 61 lit. c ATSG) unter Bezugnahme auf die rechtserheblichen Akten sowie in Auseinandersetzung mit den Einwänden des Beschwerdeführers eingehend und schlüssig begründet, weshalb auf das voll beweiskräftige (BGE 125 V 352 E. 3a) Gutachten des Instituts X._ und nicht auf den Bericht des Dr. med. Z._ - dem entgegen der Bezeichnung in der Beschwerde nicht die Qualität eines Gutachtens zukommt - abzustellen ist und damit von einer Arbeitsfähigkeit von 75% in einer leidensangepassten Tätigkeit entsprechend dem umschriebenen Tätigkeitsprofil auszugehen ist. Sie erwog insbesondere, der Bericht des Dr. med. Z._ sei kein Indiz gegen die Zuverlässigkeit des Gutachtens, nachdem sich die Gutachter eingehend mit dem Bericht auseinandergesetzt hätten und Dr. med. Z._ mit seinem Vorschlag, allenfalls könnte bei Dr. med. F._ eine Nachbegutachtung angeordnet werden, selbst festhalte, dass seine Einschätzung nicht als abschliessend aufzufassen sei.
4.3 Inwiefern das Abstellen auf das Gutachten des Instituts X._ unter diesen Umständen willkürlich sein soll, ist nicht ersichtlich. Eine Beweiswürdigung ist rechtsprechungsgemäss nicht bereits dann willkürlich, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn sie offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht oder auf einem offenkundigen Fehler beruht (BGE 133 I 149 E. 3.1 S. 153; 132 I 13 E. 5.1 S. 17 f.; 127 I 54 E. 2b S. 56). Das ist hier nicht der Fall: Der Umstand, dass zwei sich widersprechende Arbeitsfähigkeitsschätzungen vorliegen, von denen die eine schliesslich mit nachvollziehbarer Begründung verworfen wird, genügt zur Bejahung von Willkür offenkundig nicht, zumal sich der Beschwerdeführer inhaltlich gar nicht mit dem Gutachten des Instituts X._ oder dem Bericht des Dr. med. Z._ auseinandersetzt, sondern nur auf die Differenz der beiden geschätzten Arbeitsfähigkeitsprozente und deren (mathematisches) Verhältnis ("viermal höher") verweist. Letzteres als Begründung für eine willkürliche Beweiswürdigung heranzuziehen ist ebenso unbegründet, wie das Vorbringen des Beschwerdeführers, die tatsächliche Arbeitsunfähigkeit einfach aus der Differenz zweier unterschiedlicher Einschätzungen abzuleiten, lässt doch eine solche "Rechnung" gegenteils sämtliche Grundsätze der Würdigung ärztlicher Gutachten ausser Acht.
Damit liegt keine willkürliche oder anderweitig rechtsfehlerhafte Beweiswürdigung vor, weshalb von einer Arbeitsfähigkeit von 75% gemäss dem im Gutachten des Instituts X._ umschriebenen Tätigkeitsprofil auszugehen ist. Der mit der Beschwerde ans Bundesgericht eingereichte Operationsbericht des Spitals S._ vom 8. Januar 2008 ändert an diesem Ergebnis nichts. Abgesehen davon, dass es sich dabei um ein unzulässiges Beweismittel handelt (vgl. E. 1.3 hievor), äussert sich dieser Bericht ohnehin nicht zur Arbeitsfähigkeit und beschlägt auch nicht den relevanten Zeitraum (BGE 121 V 366 E. 1b mit Hinweis; vgl. auch BGE 129 V 4 E. 1.2, 169 E. 1, 356 E. 1, je mit Hinweisen).
5. Mit einer Arbeitsfähigkeit von 75% gemäss Gutachten des Instituts X._ vom 18. Januar 2007 ist zwar eine Veränderung der Arbeitsfähigkeit im massgeblichen Beurteilungszeitraum (vgl. E. 3 hievor) eingetreten; zu prüfen bleibt, ob der gestützt auf diese Prämisse vorgenommene Einkommensvergleich zu einem rentenbegründenden Invaliditätsgrad führt.
5.1 Während die IV-Stelle in ihrer Verfügung ausgehend von einem Valideneinkommen von Fr. 42'535.- und einem Invalideneinkommen von Fr. 34'129.- ("LSE 2001, leichte Hilfsarbeiten") unter Berücksichtigung eines leidensbedingten Abzuges von 20% noch einen Invaliditätsgrad von 20% ermittelt hatte, ging sie in ihrer Vernehmlassung im kantonalen Verfahren bei der Festsetzung des Invalideneinkommens von der LSE 2005 aus (Fr. 57'751.-) und kürzte diesen Betrag um 25%, weil der Tabellenlohn rund 25% höher sei als das Valideneinkommen, was bei einem zumutbaren Pensum von 75% und unter Berücksichtigung eines leidensbedingten Abzuges von 10% - der in der Verfügung gewährte Abzug von 20% erschien der IV-Stelle nunmehr "als massiv zu hoch" - ein Invalideneinkommen von Fr. 28'937.- ergab. Im Vergleich zum Valideneinkommen von Fr. 42'870.- (der 2002 zuletzt erzielte Lohn von Fr. 3'200.- x 13 = Fr. 41'600.-, aufindexiert auf 2005) resultierte ein Invaliditätsgrad von 32.5%.
Auch das kantonale Gericht ging bei der Festsetzung des Valideneinkommens vom früher erzielten Verdienst von Fr. 41'600.- aus, aufgerechnet auf 2006, das Jahr des mutmasslichen Rentenbeginns (von 109.5 auf 114.2 Indexpunkte = Fr. 43'385.55). Zusätzlich berücksichtigte die Vorinstanz das im Jahr 2002 im Reinigungsdienst erzielte Nebeneinkommen (Fr. 11'433.- aufgerechnet auf 2006 = Fr. 11'830.90), ergebend ein Valideneinkommen von ingesamt Fr. 55'216.45. Das Invalideneinkommen basierte auf der LSE 2006, Zentralwert Anforderungsniveau 4 für Männer von monatlich Fr. 4'732.-, angepasst an die betriebsübliche Arbeitszeit von 41.7 Stunden entsprechend Fr. 59'197.30. Davon zog die Vorinstanz 18.8% ab (= Fr. 48'068.20), weil das Durchschnittseinkommen in einer Wäscherei gemäss LSE 2002 mit Fr. 3'942.80 18.8% über dem vom Beschwerdeführer erzielten Verdienst von Fr. 3'200.- liege. Die Höhe des leidensbedingten Abzuges liess sie offen, da auch bei einem maximal zulässigen Abzug von 25% ein rentenausschliessender Invaliditätsgrad von 35% resultiere.
5.2 Hinsichtlich der Festsetzung des Valideneinkommens macht der Beschwerdeführer geltend, es sei nicht auf den zuletzt erzielten Verdienst im Jahre 2002 abzustellen, weil er dann bereits nicht mehr das Einkommen eines Gesunden erzielt habe. Er bringt jedoch keine stichhaltigen Hinweise vor noch sind solche ersichtlich, dass er bereits ab 1994 in seinen Tätigkeiten gesundheitlich eingeschränkt gewesen wäre und deshalb ein tieferes Einkommen erzielt hätte. Vielmehr sind seine Angaben zum Beginn seiner Beschwerden widersprüchlich, weshalb die Festsetzung des Valideneinkommens basierend auf dem zuletzt erzielten Lohn von Fr. 3'200.- x 13 jedenfalls nicht offensichtlich unrichtig ist. Sodann ist die Berücksichtigung der Nominallohnentwicklung bis 2006, dem Zeitpunkt eines allfälligen Rentenbeginns nach Ablauf der einjährigen Wartezeit nicht zu beanstanden. Dies gilt auch für die Berücksichtigung des Nebeneinkommens, was mit der Vorinstanz insgesamt ein Valideneinkommen von Fr. 55'216.45 ergibt.
5.2 Hinsichtlich der Festsetzung des Valideneinkommens macht der Beschwerdeführer geltend, es sei nicht auf den zuletzt erzielten Verdienst im Jahre 2002 abzustellen, weil er dann bereits nicht mehr das Einkommen eines Gesunden erzielt habe. Er bringt jedoch keine stichhaltigen Hinweise vor noch sind solche ersichtlich, dass er bereits ab 1994 in seinen Tätigkeiten gesundheitlich eingeschränkt gewesen wäre und deshalb ein tieferes Einkommen erzielt hätte. Vielmehr sind seine Angaben zum Beginn seiner Beschwerden widersprüchlich, weshalb die Festsetzung des Valideneinkommens basierend auf dem zuletzt erzielten Lohn von Fr. 3'200.- x 13 jedenfalls nicht offensichtlich unrichtig ist. Sodann ist die Berücksichtigung der Nominallohnentwicklung bis 2006, dem Zeitpunkt eines allfälligen Rentenbeginns nach Ablauf der einjährigen Wartezeit nicht zu beanstanden. Dies gilt auch für die Berücksichtigung des Nebeneinkommens, was mit der Vorinstanz insgesamt ein Valideneinkommen von Fr. 55'216.45 ergibt.
5.3 5.3.1 Bei der Festsetzung des Invalideneinkommens bemängelt der Beschwerdeführer, dass das kantonale Gericht von der LSE-Tabelle TA1 ausgegangen ist. Er macht geltend, es sei von einem tiefen Einkommen, vom Wirtschaftszweig 93 persönliche Dienstleistungen auszugehen, weil es unmöglich sei, ihm eine Arbeit aus einem bestimmten Wirtschaftszweig zuzuordnen und er nicht mehr im Sektor Produktion tätig sein könne. Gerade der Umstand, dass sich die Zuordnung zu einer Branche als schwierig erweist, spricht indes dafür, dass die Tabelle TA1 mit dem Total aus dem privaten Sektor (Produktion, Dienstleistungen und Gartenbau) zur Anwendung gelangt. Überdies sind auch im Sektor Produktion leichtere Tätigkeiten vorhanden, zumal dem Beschwerdeführer mit einem möglichen Pensum von 75% noch ein weites Feld an Beschäftigungsmöglichkeiten offensteht. Gleichzeitig beeinhalten auch die persönlichen Dienstleistungen nicht nur leichte Tätigkeiten, die der Beschwerdeführer noch ausführen kann, fällt doch auch eine Reinigungstätigkeit darunter, wie er sie gerade aufgeben musste. Es besteht deshalb keine Veranlassung, vom tiefsten Tabellenlohn gemäss Wirtschaftszweig 93 auszugehen.
5.3.2 Sodann hat die Vorinstanz korrekterweise im Rahmen der Parallelisierung der Vergleichseinkommen beim Valideneinkommen einen Abzug vorgenommen. Eine solche Parallelisierung ist praxisgemäss vorzunehmen, wenn eine versicherte Person aus invaliditätsfremden Gründen ein deutlich unterdurchschnittliches Einkommen bezog und sie sich nicht aus freien Stücken damit begnügen wollte. Sie erfolgt entweder auf Seiten des Valideneinkommens durch eine entsprechende Heraufsetzung des effektiv erzielten Einkommens oder durch Abstellen auf die statistischen Werte oder aber auf Seiten des Invalideneinkommens durch eine entsprechende Herabsetzung des statistischen Wertes (BGE 134 V 322 E. 5.2 und 6.2). Dabei bezieht sich die Unterdurchschnittlichkeit entgegen dem von der IV-Stelle in ihrer vorinstanzlichen Vernehmlassung vorgenommenen Einkommensvergleich auf das branchenübliche Einkommen (Urteil 9C_488/2008 vom 5. September 2008), weshalb die Vorinstanz zu Recht den früheren Lohn des Beschwerdeführers mit dem Durchschnittseinkommen in einer Wäscherei gemäss LSE 2002 verglichen und beim Invalideneinkommen einen Abzug von 18.8% vorgenommen hat (Fr. 59'197.30 abzüglich 18.8% = Fr. 48'068.20)
5.3.3 Soweit jedoch die Vorinstanz in der Folge direkt die Höhe des leidensbedingten Abzuges geprüft hat, hat sie übersehen, dass das Einkommen zunächst noch an das zumutbare Arbeitspensum von 75% angepasst werden muss, womit sich ein Betrag von Fr. 36'051.15 (Fr. 48'068.20 x 0.75) ergibt.
5.3.4 Die Vorinstanz hat die Höhe des leidensbedingten Abzuges offengelassen, weil sie fälschlicherweise davon ausging, es resultiere in jedem Fall kein rentenbegründender Invaliditätsgrad, weshalb das Bundesgericht die Höhe des Abzuges überprüfen kann.
Bei der Festsetzung der Höhe des leidensbedingten Abzuges ist jedoch zu beachten, dass - soweit persönliche und berufliche Merkmale des konkreten Einzelfalles bereits im Rahmen der Parallelisierung der hypothetischen Vergleichsgrössen berücksichtigt wurden - dieselben lohnbestimmenden Einflussfaktoren nicht zusätzlich einen Abzug vom anhand statistischer Werte ermittelten Invalideneinkommen zu rechtfertigen vermögen. Nach erfolgter Parallelisierung der Einkommen beschränkt sich dieser in der Regel auf die Berücksichtigung leidensbedingter Faktoren und wird - in Anbetracht der Höchstgrenze des Abzuges vom Invalideneinkommen von 25% für sämtliche invaliditätsfremden und invaliditätsbedingten Merkmale - nicht mehr die maximal zulässigen 25% ausschöpfen (BGE 134 V 322 E. 5.2 und 6.2).
Ob der Abzug von 20% entsprechend der angefochtenen Verfügung oder nur von 10% gemäss dem Vorbringen der IV-Stelle in der vorinstanzlichen Vernehmlassung gerechtfertigt ist, kann offen bleiben, da in beiden Fällen ein eine Viertelsrente begründender Invaliditätsgrad resultiert (Abzug von 10%: Invalideneinkommen = Fr. 32'446.05 und Invaliditätsgrad = 41.2%; Abzug von 20%: Invalideneinkommen = Fr. 28'843.32 und Invaliditätsgrad = 47.8%). Hingegen ist ein maximaler Abzug von 25% angesichts des noch möglichen Pensums von 75% und der bestehenden Einschränkungen, aber auch mit Blick auf die schon bei der Parallelisierung der Einkommen berücksichtigten einkommensmindernden Faktoren nicht gerechtfertigt.
5.4 Der Beschwerdeführer hat somit unter Vorbehalt der nachfolgenden E. 6 Anspruch auf eine Viertelsrente der Invalidenversicherung. Die Sache ist deshalb zur Festsetzung von Rentenbeginn und -höhe an die IV-Stelle zurückzuweisen.
6. Das Bundesamt für Sozialversicherungen weist in seiner Vernehmlassung darauf hin, dass der Beschwerdeführer gemäss Handelregistereintrag von Juni 2001 bis März 2008 eine Einzelfirma für Kleinreinigungen führte, was als öffentlich zugängliche (Art. 930 OR) und damit gerichtsnotorische Tatsache ungeachtet des Novenverbots von Art. 99 BGG berücksichtigt werden kann. Der Beschwerdeführer hat auf diese Firma im ganzen Verfahren nie hingewiesen. Es steht damit zwar keineswegs fest, dass er ein nicht deklariertes Einkommen erzielt hat, kann doch eine Einzelfirma auch inaktiv bestehen. Immerhin besteht ein gewisses Verdachtsmoment darin, dass die Firma zu einem Zeitpunkt ins Handelsregister eingetragen wurde, als der Beschwerdeführer nach seinen im Laufe des Verfahrens verschiedentlich gemachten eigenen Angaben nicht arbeitsfähig war. Die IV-Stelle wird zu prüfen haben, ob der Beschwerdeführer während der fraglichen Zeit eine Erwerbstätigkeit ausübte und daraus allenfalls ein höheres Invalideneinkommen resultierte.
7. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (Art. 66 Abs. 1 BGG). Diese hat dem obsiegenden Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG). Das Gesuch um unentgeltliche Rechtspflege, einschliesslich Verbeiständung, ist damit gegenstandslos.
Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Bern vom 18. März 2008 und die Verfügung der IV-Stelle Bern vom 17. April 2007 aufgehoben und es wird festgestellt, dass der Beschwerdeführer unter Vorbehalt von E. 6 Anspruch auf eine Viertelsrente der Invalidenversicherung hat. Die Sache wird zur Festsetzung von Rentenbeginn und -höhe an die IV-Stelle Bern zurückgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2500.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Bern zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Oktober 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Helfenstein Franke