Sachverhalt:
A. A.a Der 1953 geborene A._ arbeitete bis 31. Dezember 1999 als angelernter Dachdecker. Am 5. Juli 2000 meldete er sich unter Hinweis auf Rücken- und Nackenprobleme sowie erhöhten Blutdruck bei der Invalidenversicherung erstmals zum Leistungsbezug (Umschulung) an. Die IV-Stelle Bern klärte den medizinischen und erwerblichen Sachverhalt ab und liess A._ am Institut X._ internistisch, rheumatologisch und psychiatrisch beurteilen (interdisziplinäres Gutachten vom 18. August 2004). Mit Verfügung vom 5. Oktober 2004 lehnte sie den Anspruch auf eine Invalidenrente ab mit der Begründung, die medizinischen Abklärungen hätten ergeben, dass der Versicherte zwar die angestammte Tätigkeit als angelernter Dachdecker behinderungsbedingt nicht mehr ausüben könne, ihm eine körperlich leichte bis mittelschwere adaptierte Tätigkeit aber ganztags ohne Leistungseinbusse zumutbar sei. Die dagegen erhobene Einsprache wies sie mit Entscheid vom 11. Februar 2005 bei einem ermittelten Invaliditätsgrad von 25 % ab. Dieser wurde vom Verwaltungsgericht des Kantons Bern mit Entscheid vom 21. Oktober 2005 (Invaliditätsgrad von 10 %) und vom Eidgenössischen Versicherungsgericht mit Urteil I 854/05 vom 1. Mai 2006 (Invaliditätsgrad von 22 %) im Ergebnis geschützt.
A.b Am 8. Dezember 2005 hatte A._ erneut Leistungen der Invalidenversicherung beantragt und eine Verschlechterung des Gesundheitszustandes mit vollständiger Arbeitsunfähigkeit geltend gemacht. Die IV-Stelle holte den Bericht des Dienstes Y._ vom 11. Januar 2007 ein und stellte dem Versicherten mit Vorbescheid vom 19. Januar 2007 Nichteintreten auf das neue Leistungsbegehren in Aussicht. Nach Einwänden des Versicherten traf sie zusätzliche medizinische Abklärungen. Gestützt auf einen weiteren Bericht des Dienstes Y._ vom 10. Mai 2007 holte sie beim Institut X._ ein interdisziplinäres Verlaufsgutachten internistisch-psychiatrisch-orthopädisch-ophthalmologischer Fachrichtung vom 25. Januar 2008 ein. Mit Vorbescheid vom 28. April 2008 und Verfügung vom 27. Juni 2008 lehnte sie den Anspruch auf eine Invalidenrente (Invaliditätsgrad von 37 %) abermals ab.
B. Die dagegen erhobene Beschwerde, mit der als Beweismittel unter anderem ein vom Versicherten in Auftrag gegebenes interdisziplinäres Gutachten des Instituts Z._ vom 11. Juli 2008 (mit Teilgutachten in orthopädischer, ophthalmologischer, psychiatrischer, neurologischer und neuropsychologischer Hinsicht) eingereicht wurde, wies das Verwaltungsgericht des Kantons Bern nach Durchführung einer öffentlichen Schlussverhandlung mit Entscheid vom 25. November 2009 ab.
C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, es seien ihm unter Aufhebung des vorinstanzlichen Entscheides jeweils ab wann rechtens die gesetzlichen Leistungen nach Massgabe eines Invaliditätsgrades von mindestens 40 % und ein Verzugszins von 5 % auszurichten; eventualiter sei die Sache an die Vorinstanz zurückzuweisen, damit sie nach ergänzenden medizinischen und beruflichen Abklärungen über den Leistungsanspruch neu befinde. Die IV-Stelle sei zu verpflichten, ihm die im Zusammenhang mit dem Gutachten des Instituts Z._ vom 11. Juli 2008 entstandenen Kosten von Fr. 15'500.- zuzüglich Übersetzungskosten von Fr. 903.85 zu erstatten. Zudem ersucht er um unentgeltliche Prozessführung und Bewilligung eines unentgeltlichen Rechtsbeistandes im bundesgerichtlichen Verfahren.
Mit Verfügung vom 10. März 2010 weist das Bundesgericht das Gesuch um unentgeltliche Rechtspflege ab.
Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (BGE 132 V 393 E. 3.2 S. 397 ff.).
1.3 Die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG ist Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 3.2). Die Beweiswürdigung durch das kantonale Gericht verletzt namentlich dann Bundesrecht, wenn es den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (BGE 129 I 8 E. 2.1 S. 9; Urteil 8C_727/2009 vom 19. November 2009 E. 1.2).
2. Im angefochtenen Entscheid werden die Bestimmungen über den Begriff der Invalidität (Art. 8 ATSG, Art. 4 IVG), die Voraussetzungen für einen Rentenanspruch und dessen Umfang (Art. 28 IVG), die Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (Art. 28a IVG, Art. 16 ATSG) sowie die dazu und zum Beweiswert eines Arztberichtes oder Gutachtens ergangene Rechtsprechung (BGE 125 V 351 E. 3a S. 352; RKUV 2003 Nr. U 487 S. 345 E. 5.1 [U 38/01]) zutreffend angegeben. Darauf wird verwiesen.
3. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie das Vorliegen eines invalidisierenden Gesundheitsschadens verneinte.
3.1 Das kantonale Gericht hat in einlässlicher Würdigung der gesamten medizinischen Akten, insbesondere gestützt auf die interdisziplinären Gutachten des Instituts X._ vom 18. August 2004 und 25. Januar 2008 sowie unter Mitberücksichtigung des interdisziplinären Gutachtens des Instituts Z._ vom 11. Juli 2008 und sämtlicher übriger bei den Akten liegender und vom Beschwerdeführer als massgeblich bezeichneter medizinischen Berichten festgestellt, es sei seit Erlass des Einspracheentscheids vom 11. Februar 2005 keine anspruchserhebliche Verschlechterung des Gesundheitszustandes gegeben. Der Beschwerdeführer sei bezüglich der bisherigen Tätigkeit als Dachdecker und allgemein für körperlich schwer und mittelschwer belastende Tätigkeiten weiterhin voll arbeitsunfähig. Ungeeignet seien sodann Beschäftigungen, welche hohe Anforderungen an die Sehkraft stellen. Dagegen seien dem Beschwerdeführer körperlich leichte bis intermittierend mittelschwere wechselbelastende Tätigkeiten, ohne wesentliche Belastung der rechten oberen Extremität, ohne Heben und Tragen von Gewichten über 10 Kilogramm und ohne Zwangshaltungen vollschichtig zumutbar (E. 4 und 6 des Entscheides). Ob das von den Gutachtern des Instituts X._ aus psychiatrischer Sicht angenommene leicht (d.h. um 20 %) verminderte Rendement zu berücksichtigen sei, liess das Gericht offen, da sich selbst dann im Einkommensvergleich nur ein Invaliditätsgrad von 33 % ermitteln lasse (E. 7 des Entscheides), somit die Verfügung vom 27. Juni 2008 im Ergebnis zu Recht ergangen sei. Diese Sachverhaltsfeststellung beruht auf einer gründlichen und umfassenden vorinstanzlichen Abklärung und einem ebensolchen Vergleich der erheblichen Verhältnisse. Sie ist nach der gesamten Aktenlage weder offensichtlich unrichtig noch beruht sie auf einer Rechtsverletzung; darum ist sie für das Bundesgericht verbindlich (oben E. 1).
3.2 Die Vorinstanz hat insbesondere zutreffend festgehalten, dass sich die von den Experten des Instituts Z._ geäusserte Kritik an den Gutachten des Instituts X._ als unbegründet erweist, und ihre abweichende Einschätzung der Arbeits- und Leistungsfähigkeit auf einem sozialversicherungsrechtlich nicht anerkannten Krankheits- und Therapieverständnis beruht. Unbegründet ist namentlich die vom Beschwerdeführer gestützt darauf vorgetragene Kritik, die Gutachter des Instituts X._ hätten in ihrer Einschätzung der Arbeits- und Leistungsfähigkeit dem Zusammenwirken der in den jeweiligen Fachbereichen erhobenen Befunde und damit den bestehenden Einschränkungen nicht Rechnung getragen. Vielmehr haben sie aufgrund sämtlicher objektivierbarer Befunde, insbesondere auch unter Berücksichtigung der (nach der Erstbegutachtung aufgetretenen) ophthalmologischen Beschwerden, ein einheitliches interdisziplinäres Zumutbarkeitsprofil formuliert, das mit den fachspezifischen Beurteilungen im Einklang steht. Die vom Beschwerdeführer vorgebrachten Rügen sind nicht rechtserheblich. So ist der Vorwurf ungerechtfertigt, die Vorinstanz habe einseitig auf das polydisziplinäre Gutachten des Instituts X._ vom 25. Januar 2008 abgestellt, ohne überzeugend darzulegen, weshalb dieses und nicht dasjenige des Instituts Z._ massgebend sei. Ebenfalls nicht bundesrechtswidrig ist, dass der Leistungsanspruch und damit die medizinisch-theoretische Arbeitsfähigkeit mit der dazu geforderten Objektivierung geprüft worden sind, und nicht aus der im Wesentlichen durch subjektives Empfinden geprägten Sicht des Beschwerdeführers. Zu den entsprechenden Vorbringen wird auf die vorinstanzlichen Erwägungen verwiesen. Da im Zeitpunkt der am 27. Juni 2008 verfügten Ablehnung kein Leistungsanspruch bestand, ist die Beschwerde abzuweisen.
4. 4.1 Die Kosten eines von einer versicherten Person veranlassten Gutachtens sind vom Versicherungsträger dann zu übernehmen, wenn sich der medizinische Sachverhalt erst aufgrund des neu beigebrachten Untersuchungsergebnisses schlüssig feststellen lässt und dem Versicherer insoweit eine Verletzung der ihm im Rahmen des Untersuchungsgrundsatzes obliegenden Pflicht zur rechtsgenüglichen Sachverhaltsabklärung vorzuwerfen ist (RKUV 2004 Nr. U 503 S. 186 ff. [U 282/00]; Art. 45 Abs. 1 und 61 lit. g ATSG). Dies ist vorliegend nicht der Fall, so dass dem Antrag, die Kosten für das von ihm beim Instituts Z._ in Auftrag gegebene Gutachten der Beschwerdegegnerin aufzuerlegen, nicht stattzugeben ist.
4.2 Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
5. Die Beschwerde hatte keine Aussicht auf Erfolg, weshalb sie im vereinfachten Verfahren nach Art. 109 BGG ohne Durchführung des Schriftenwechsels erledigt wird.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. April 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz