Sachverhalt:
A. Mit Verfügung vom 17. August 2005 sprach die IV-Stelle des Kantons Bern dem 1952 geborenen J._ ab 1. November 2003 eine halbe Rente der Invalidenversicherung zu. Die hiegegen eingereichte Einsprache wies die IV-Stelle ab (Einspracheentscheid vom 11. Mai 2006). Am 8. November 2006 liess der Versicherte durch seinen behandelnden Arzt, Dr. med. M._, Facharzt für Psychiatrie und Psychotherapie, eine Verschlechterung insbesondere des psychischen Gesundheitszustandes melden. Nach vorgenommenen Abklärungen, namentlich gestützt auf das vom Ärztlichen Begutachtungsinstitut GmbH (ABI) erstellte polydisziplinäre Gutachten vom 9. Januar 2008 und durchgeführtem Vorbescheidverfahren verfügte die IV-Stelle am 15. Mai 2008 die Einstellung der Invalidenrente auf Ende Juni 2008; sie ging von einem Invaliditätsgrad von 30 % aus.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 14. April 2009 ab. Bereits am 4. September 2008 verfügte das Gericht über die unentgeltliche Rechtspflege insoweit in ablehnendem Sinn, als es die Beiordnung der Fürsprecherin, Frau Katerina Baumann, Berner Rechtsberatungsstelle für Menschen in Not, als amtliche Rechtsvertreterin ablehnte. Hingegen befreite es den Beschwerdeführer von der Pflicht, Gerichtskosten zu bezahlen.
C. J._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, die IV-Stelle sei, unter Aufhebung des Entscheids vom 14. April 2009, zur Zahlung der gesetzlichen Leistungen, zuzüglich Verzugszins auf den nachzuzahlenden Rentenbetreffnissen, zu verpflichten; eventualiter sei die Sache zu neuer Beurteilung zurückzuweisen. Sodann beantragt er die Aufhebung der Verfügung vom 4. September 2008, soweit damit die unentgeltliche Verbeiständung verweigert worden ist. Die unentgeltliche Rechtspflege beantragt der Versicherte auch für das bundesgerichtliche Verfahren.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, währenddem sich das Bundesamt für Sozialversicherungen nicht vernehmen lässt. Das kantonale Gericht äussert sich dahingehend, dass auf die Beschwerde gegen die Verfügung vom 4. September 2008 mangels Rechtsschutzinteresse nicht einzutreten sei.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
1.2 In beweisrechtlicher Hinsicht ist zu ergänzen, dass die Ergebnisse der Beweiswürdigung im Allgemeinen (vgl. Ulrich Meyer, Basler Kommentar zum Bundesgerichtsgesetz, 2008, N. 34 zu <ref-law>; Markus Schott, Basler Kommentar zum Bundesgerichtsgesetz, 2008, N. 29 zu <ref-law>) und insbesondere die auf der Würdigung ärztlicher Berichte und Gutachten beruhenden gerichtlichen Feststellungen zum Gesundheitsschaden und zur (Rest-) Arbeitsfähigkeit (Art. 6 und Art. 16 ATSG) tatsächlicher Natur sind (<ref-ruling> E. 3.2 S. 398 f.; vgl. Entscheid I 9/07 vom 9. Februar 2007 E. 4) und somit einer bundesgerichtlichen Korrektur nur nach Massgabe des <ref-law> zugänglich sind (E. 1 hievor). Zu den in dieser Bestimmung erwähnten, frei zu prüfenden Rechtsverletzungen im Sinne von <ref-law> gehören u.a. die Missachtung der bundesrechtlichen Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (vgl. Urteil I 853/06 vom 3. Oktober 2007, E. 4.1 am Anfang.; zu den einzelnen Beweisanforderungen: <ref-ruling> E. 3 S. 352 ff., 122 V 157 E. 1c S. 160 ff., je mit Hinweisen), des Untersuchungsgrundsatzes, der Pflicht zu inhaltsbezogener, umfassender, sorgfältiger und objektiver Beweiswürdigung (<ref-law>; <ref-ruling> E. 4.1 S. 400) sowie der Regeln über die antizipierte Beweiswürdigung (dazu im Einzelnen: Urteil 9C_833/2007 vom 4. Juli 2008 E. 2.2; Urteil I 362/99 vom 8. Februar 2000 E. 4, mit Hinweisen, in: SVR 2001 IV Nr. 10 S. 28).
2. Soweit sich die Beschwerde gegen den Entscheid vom 14. April 2009 richtet, ist strittig und zu prüfen, ob eine für den Leistungsanspruch erhebliche Änderung der gesundheitlichen Verhältnisse eingetreten ist.
2.1 Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law>). Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Insbesondere ist die Rente nicht nur bei einer wesentlichen Änderung des Gesundheitszustandes, sondern auch dann revidierbar, wenn die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes sich erheblich verändert haben (<ref-ruling> E. 3.5 S. 349 mit Hinweisen).
2.2 Zeitliche Vergleichsbasis für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades bilden die letzte rechtskräftige Verfügung oder der letzte rechtskräftige Einspracheentscheid, welche oder welcher auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Invaliditätsbemessung beruht (<ref-ruling>; vgl. auch <ref-ruling> E. 3.2.3 S. 75 ff.). Der Prüfungszeitraum erstreckt sich daher vom 11. Mai 2006 bis 15. Mai 2008, wie dies das kantonale Gericht zu Recht erwogen hat.
3. 3.1 Laut Vorinstanz entspricht das ABI-Gutachten vom 9. Januar 2008 den rechtsprechungsgemässen Anforderungen an eine beweistaugliche Expertise, weshalb darauf abgestellt werden könne. Mit Blick auf die vom Versicherten ausgeübten Arbeiten im Haushalt und der Pflege der Ehefrau werde nachvollziehbar dargelegt, weshalb von einer leichten Depression auszugehen sei. Der Einwand des behandelnden Arztes, Dr. med. M._, der Beschwerdeführer könne die Führung des Haushalts und die Pflege der Ehefrau nicht selbst ausführen, widerspreche den Angaben des Versicherten und die Unterstützung durch Familienangehörige bei der Pflege ändere nichts, weil ein Pflegeaufwand von 24 Stunden zwangsläufig die Hilfe Dritter erfordere, so die Vorinstanz. Ohnehin sei die Stellungnahme des Dr. med. M._ weitgehend advokatorischer Natur, zumal zwischen ihm und dem Beschwerdeführer ein ausgeprägtes Vertrauensverhältnis bestehe. Sodann überzeuge in Anbetracht der Anamnese und der Darlegung der Untersuchungsergebnisse die Behauptung nicht, die psychiatrische Begutachtung habe bloss 10 Minuten gedauert. Es sei von einer wesentlich längeren Untersuchungsdauer auszugehen.
3.2 Hiegegen trägt der Beschwerdeführer vor, er habe wohl einen überdurchschnittlichen, den Alltag dominierenden Beitrag im Haushalt und in der Pflege seiner Ehefrau geleistet, jedoch könne der ausserordentliche Einsatz nicht als Massstab zur Einschätzung zumutbarer beruflicher Tätigkeiten heran gezogen werden, weil dieser einer Arbeitsleistung gleichkomme, die seine Leistungsfähigkeit dauernd übersteige. Zudem sei eine Ausweitung der Therapie, wofür die Gutachter des ABI plädierten, wegen Restriktionen der Krankenkasse nicht möglich. Weiterhin halte er an der Darstellung fest, die psychiatrische Begutachtung habe nur 10 Minuten gedauert; denn das Gutachten sei vorwiegend anhand der Akten erstellt worden. Mit Bezug auf die Diskussion, ob die antidepressiven Medikamente eingenommen werden, nennt der Beschwerdeführer die Stellungnahme des Dr. med. M._ vom 3. Juni 2008, wonach wegen der Untersuchung im ABI diese abgesetzt worden seien.
3.2 Hiegegen trägt der Beschwerdeführer vor, er habe wohl einen überdurchschnittlichen, den Alltag dominierenden Beitrag im Haushalt und in der Pflege seiner Ehefrau geleistet, jedoch könne der ausserordentliche Einsatz nicht als Massstab zur Einschätzung zumutbarer beruflicher Tätigkeiten heran gezogen werden, weil dieser einer Arbeitsleistung gleichkomme, die seine Leistungsfähigkeit dauernd übersteige. Zudem sei eine Ausweitung der Therapie, wofür die Gutachter des ABI plädierten, wegen Restriktionen der Krankenkasse nicht möglich. Weiterhin halte er an der Darstellung fest, die psychiatrische Begutachtung habe nur 10 Minuten gedauert; denn das Gutachten sei vorwiegend anhand der Akten erstellt worden. Mit Bezug auf die Diskussion, ob die antidepressiven Medikamente eingenommen werden, nennt der Beschwerdeführer die Stellungnahme des Dr. med. M._ vom 3. Juni 2008, wonach wegen der Untersuchung im ABI diese abgesetzt worden seien.
3.3 3.3.1 Der Versicherte bestreitet auch letztinstanzlich nicht, in der hier massgeblichen Zeitperiode (vgl. E. 2.2 hievor) seine schwer erkrankte Ehefrau gepflegt und gleichzeitig den Haushalt geführt zu haben. Gegen die beweisrechtliche Würdigung dieses Sachverhalts durch das kantonale Gericht trägt er allerdings vor, hiebei die Hilfe Dritter in Anspruch genommen und sich jeweils an der Grenze der Belastbarkeit befunden zu haben, weshalb daraus nichts zur Leistungsfähigkeit im Beruf hergeleitet werden könne. Die Kritik geht indes fehl, weil die jahrelange Pflege und Tätigkeit im Haushalt eine konstante Belastbarkeit voraussetzt. Es wird zwar durchaus zu Überforderungen gekommen sein; eine dauerhafte Überlastung kann aus den - im Lichte der Akten - nicht offensichtlich unrichtigen Feststellungen im angefochtenen Entscheid jedoch nicht hergeleitet werden (<ref-law>). Zudem hat der Beschwerdeführer der Mithilfe durch Verwandte offenbar nicht eine derart hohe Bedeutung beigemessen, um sie anlässlich der Begutachtung im ABI zu erwähnen. Im Weiteren leitet das Gutachten des ABI u.a. aus der oben beschriebenen häuslichen Belastung eine Leistungsfähigkeit von 80 % in einem körperlich leichten Beruf ab, was unter dem Aspekt der Beweiswürdigung schon deshalb zu keinen Bedenken Anlass gibt, weil die Dauerpflege und die Bewältigung des Haushalts jedenfalls eine weit höhere Belastung darstellen, als ein körperlich wenig anstrengender Beruf. Die Gutachter haben sich nicht von der Annahme leiten lassen, der Beschwerdeführer pflege seine Ehefrau und erledige den Haushalt, ohne hiebei eingeschränkt zu sein, andernfalls sie auf eine volle Arbeitsfähigkeit geschlossen hätten. Zu seinen Gunsten vermag der Versicherte sodann nichts aus den vor dem Begutachtungszeitpunkt vom 4. Dezember 2007 abgegebenen Einschätzungen des Dr. med. M._ herzuleiten. Nicht nur sind dessen Schätzungen als Folge der - im angefochtenen Entscheid mit Recht erwähnten - besonderen Vertrauensstellung mit Zurückhaltung zu würdigen (<ref-ruling> E. 3b/cc S. 353), wegen ihrer Diskrepanz zwischen der seit Längerem bestehenden häuslichen Belastung und der von Dr. med. M._ spätestens ab September 2004 angenommenen vollständigen Unmöglichkeit, ausser Haus einer Arbeit nachzugehen, geht ihnen die Schlüssigkeit ab, weshalb sie die Beweistauglichkeit der Expertise des ABI nicht beeinträchtigen. Unbeanstandet blieb im Übrigen, dass die Experten des ABI - im Gegensatz zu Dr. med. H._ im Gutachten vom November 2004 - eine Somatisierungsstörung ausschlossen und statt dessen nur mehr eine anhaltende somatoforme Schmerzstörung erhoben haben.
Auch die darüber hinaus vorgebrachten Einwände dringen nicht durch: Entgegen den Annahmen des Beschwerdeführers spielt im angefochtenen Entscheid weder die Frage der Ausweitung der Therapie noch jene, ob der Versicherte die Medikamente einnimmt eine entscheidwesentliche Rolle, weshalb eine Auseinandersetzung damit entfällt. Schliesslich überzeugt der Einwand nicht, die behauptete Untersuchungsdauer von bloss 10 Minuten sei - entgegen angefochtenem Entscheid - korrekt, weil die Expertise massgeblich anhand der Akten erstellt worden sei. Denn die für eine Untersuchung benötigte Zeit wird nicht allein dadurch bestimmt, welchen Raum die Akten im Gutachten einnehmen.
3.3.2 Mit der Bezugnahme auf den Bericht des Dr. med. M._ vom 9. Mai 2009 und die darin enthaltene Diagnose einer rezidivierenden depressiven Erkrankung, gegenwärtig mittelgradige Episode, welche auf einer am 8. Mai 2009 stattgefundenen Untersuchung beruht, ist der Beschwerdeführer nicht zu hören; denn der Erlass der strittigen Verfügung (15. Mai 2008) bildet rechtsprechungsgemäss die zeitliche Grenze der richterlichen Überprüfungsbefugnis (<ref-ruling> E. 3.1.1 S. 220 mit Hinweisen). Die seitherige Entwicklung des Gesundheitszustandes ist folglich nicht Gegenstand des gerichtlichen Beschwerdeverfahrens.
3.4 Das kantonale Gericht hat dem Gutachten des ABI vom 9. Januar 2009 bundesrechtskonform vollen Beweiswert zuerkannt und ausgehend von der Diagnose einer leichten depressiven Episode sowie einer anhaltenden somatoformen Schmerzstörung nicht offensichtlich unrichtig eine Arbeitsfähigkeit von 80 % in einer den Leiden adaptierten Tätigkeit festgestellt (Art. 97 Abs. 1 und Art. 105 Abs. 1 BGG). Darüber hinaus hält der angefochtene Entscheid eine Verbesserung des Gesundheitszustandes und damit einhergehend der Arbeitsfähigkeit fest, was der Beschwerdeführer nicht als offensichtlich unrichtig rügt, vielmehr lässt er es damit bewenden, die Beweistauglichkeit der Expertise zu bestreiten, womit er nicht durchdringt (E. 3.3.1 hievor). Nachdem der rechtserhebliche Sachverhalt rechtsgenüglich abgeklärt ist, durfte die Vorinstanz ohne Verletzung des Untersuchungsgrundsatzes auf die Anordnung weiterer Beweismassnahmen in antizipierter Beweiswürdigung verzichten (vgl. <ref-ruling> E. 4b S. 94, 122 V 157 E. 1d S. 162). Dem Antrag, es sei die Sache zur Vornahme ergänzender Abklärungen zurückzuweisen, ist daher nicht stattzugeben.
4. Der Versicherte bemängelt die Höhe der Vergleichseinkommen in allgemeiner Weise, indem er eine Diskrepanz zwischen der wirtschaftlichen Realität und den vorinstanzlich festgestellten Löhnen behauptet sowie deren Korrektur entweder mittels einer Parallelisierung der Einkommen, des Beizugs unterschiedlicher LSE-Anforderungsniveaus, durch einen hohen Prozentabzug oder sonstwie fordert. Indes begründet er eine rechtsfehlerhafte Ermessensausübung bei der Festlegung des leidensbedingten Abzuges vom Tabellenlohn von 10 % nicht substantiiert, wobei der Abzug letztinstanzlich einer Korrektur nur mehr zugänglich ist, wenn das kantonale Gericht sein Rechtsermessen rechtsfehlerhaft ausgeübt hat (also bei Ermessensüberschreitung, -missbrauch oder -unterschreitung; <ref-ruling> E. 2.2 und 3.3 S. 396 und 399). Desgleichen unterlässt er es darzulegen, inwiefern die vorinstanzliche Feststellung eines nicht unterdurchschnittlichen Valideneinkommens rechtlich zu bemängeln ist (BGE 8C_652/2008 vom 8. Mai 2009). Die Einwände erschöpfen sich in appellatorischer und damit letztinstanzlich unzulässiger Kritik am vorinstanzlichen Entscheid (Urteil 9C_569/2008 vom 1. Oktober 2008 E. 1.2). Damit ist er nicht zu hören.
5. 5.1 Gemäss <ref-law> ist die Beschwerde gegen selbständig eröffnete Vor- und Zwischenentscheide zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a); oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Ist die Beschwerde nach <ref-law> nicht zulässig oder wurde von ihr kein Gebrauch gemacht, so sind die betreffenden Vor- und Zwischenentscheide durch Beschwerde gegen den Endentscheid anfechtbar, soweit sie sich auf dessen Inhalt auswirken (<ref-law>).
5. 5.1 Gemäss <ref-law> ist die Beschwerde gegen selbständig eröffnete Vor- und Zwischenentscheide zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a); oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Ist die Beschwerde nach <ref-law> nicht zulässig oder wurde von ihr kein Gebrauch gemacht, so sind die betreffenden Vor- und Zwischenentscheide durch Beschwerde gegen den Endentscheid anfechtbar, soweit sie sich auf dessen Inhalt auswirken (<ref-law>).
5.2 5.2.1 Bei der angefochtenen Verfügung vom 4. September 2008, mit welcher die Vorinstanz die Beiordnung der Rechtsvertreterin, Frau Fürsprecherin Katerina Baumann, Berner Rechtsberatungsstelle für Menschen in Not, als amtliche Anwältin abgelehnt hat, handelt es sich um einen Zwischenentscheid im Sinne von <ref-law> (Urteil 2D_1/2007 vom 2. April 2007 E. 2.1). Der Beschwerdeführer ficht sie mit dem Endentscheid vom 14. April 2009 an, was zulässig ist, falls sich die Beschwerde auf den Inhalt des Endentscheids auswirkt (<ref-law>). Dies trifft hier zu: Mit der Verfügung vom 4. September 2008 hat die Vorinstanz über den Anspruch auf Beiordnung einer amtlichen Anwältin entschieden, was im Rahmen des Endentscheids im Kostenpunkt von Belang ist. Falls die dagegen erhobene Beschwerde durchdringt, wäre im Endentscheid neu ein Honorar für die amtliche Vertretung festzusetzen.
5.2.2 Hingegen hält das kantonale Gericht in der Vernehmlassung vom 5. Juni 2009 dafür, auf die Beschwerde sei mangels Rechtsschutzinteresses nicht einzutreten. Es gelte zu beachten, dass sich die Berner Rechtsberatungsstelle für Menschen in Not verpflichtet habe, den Beschwerdeführer auch ohne Kostenübernahme vor Verwaltungsgericht zu vertreten. Davon abgesehen seien die von der Rechtsberatungsstelle Vertretenen unabhängig einer prozessualen Bedürftigkeit mangels zivilrechtlicher Abrede nicht verpflichtet, die Kosten der Vertretung zu übernehmen (vgl. hiezu <ref-ruling> E. 7.3 S. 3). Die Rechtsberatungsstelle selbst führe nicht in eigenem Namen Beschwerde.
5.2.3 Adressat der angefochtenen Verfügung ist der Beschwerdeführer, womit er formell beschwert und schon deshalb legitimiert ist (<ref-law>); mit der formellen Beschwerde geht regelmässig die materielle einher (KÖLZ/HÄNER, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 1998, N. 541). Daran ändert nichts, wenn der Beschwerdeführer hier auch bei Ablehnung der unentgeltlichen Verbeiständung nicht selbst die Kosten der Rechtsvertretung zu tragen hätte; denn Adressat des verfassungsmässigen Rechts (<ref-law>) ist er und das schutzwürdige Interesse an der Aufhebung der angefochtenen Verfügung ist rechtlicher Natur (ZIMMERLI/KÄLIN/ KIENER, Grundlagen des öffentlichen Verfahrensrechts, 1997, S. 118).
5.3 Das Bundesgericht hat in <ref-ruling> (E. 7.3 S. 3) entschieden, dass die Vertretung durch Anwältinnen und Anwälte der Berner Rechtsberatungsstelle für Menschen in Not den Anspruch auf amtliche Verbeiständung nicht ausschliesst, obwohl die Organisation für die Rechtsuchenden weitgehend kostenlos tätig ist. Denn bei der unentgeltlichen Verbeiständung handelt es sich von Verfassungs wegen primär um eine staatliche Aufgabe, weshalb die Leistungen der Rechtsberatungsstelle zum verfassungsrechtlichen Anspruch auf unentgeltlichen Rechtsbeistand subsidiär sind, soweit sie im Anwendungsbereich von <ref-law> tätig wird. Die unentgeltliche Rechtsverbeiständung soll nicht schon deshalb entfallen, weil die von der Beschwerdeführerin beigezogene Anwältin für eine gemeinnützige Einrichtung arbeitet, welche keine Entschädigung verlangt. Bei der hier gleichen Sach- und Rechtslage ist der Anspruch auf unentgeltliche Verbeiständung vor kantonalem Gericht nach Massgabe der erwähnten Rechtsprechung gegeben und die Verfügung vom 4. September 2008 ist aufzuheben, soweit damit die unentgeltliche Verbeiständung verneint wurde.
5.4 Für die Bestimmung des Honorars ist zu beachten, dass die Organisation gemeinnützige Zwecke verfolgt und ihr im Gegensatz zu den freiberuflichen Anwältinnen und Anwälten die Gewinnabsicht abgeht. Die unter dem Aspekt der Willkürprüfung zur Entschädigung amtlicher Rechtsverbeiständung ergangene bundesgerichtliche Rechtsprechung verlangt eine Entschädigung von mindestens Fr. 180.- (zuzüglich Mehrwertsteuer) pro Stunde, wobei kantonale Unterschiede Abweichungen nach oben oder unten rechtfertigen können (<ref-ruling> E. 8.7 S. 217). Die Untergrenze der Entschädigung bilden nicht die Selbstkosten, welche als Mittelwert Fr. 130.- je Stunde betragen, sondern es ist ein zwar bescheidener, jedoch nicht bloss symbolischer Verdienst einzurechnen (E. 8.5 und 8.6 des erwähnten Urteils). Die Berner Rechtsberatungsstelle für Menschen in Not hat ihre Anwältinnen und Anwälte zu entlöhnen, was bei ihr als Kosten zu Buche schlägt. Weil indes eine gemeinnützige Organisation darauf bedacht sein muss, ihre Selbstkosten gering zu halten, ist der bundesrechtliche Entschädigungsrahmen zwischen Fr. 130.- und 180.- pro Stunde anzusetzen; dieser schliesst eine Gewinnerzielung der Organisation weitgehend aus und sichert die Kostendeckung. In diesem Rahmen ist die Festsetzung des Honorars Sache des kantonalen Rechts.
6. Die Beschwerde gegen die Verfügung vom 4. September 2008 ist gutzuheissen. Da die Voraussetzungen für die unentgeltliche Verbeiständung im Übrigen erfüllt sind, wird die Vorinstanz das Honorar der unentgeltlichen Verbeiständung für das kantonale Beschwerdeverfahren festzulegen haben. Der Kanton Bern muss den anwaltlich vertretenen Beschwerdeführer für dessen Aufwand im bundesgerichtlichen Verfahren angemessen entschädigen (vgl. <ref-law>), hingegen sind keine Kosten zu erheben (vgl. <ref-law>; Hansjörg Seiler, in: Bundesgerichtsgesetz [BGG], 2007, N. 52 zu <ref-law>). Das Gesuch um unentgeltliche Rechtspflege wird insoweit hinfällig.
Soweit sich die Beschwerde gegen den Entscheid vom 14. April 2009 richtet, ist sie abzuweisen. Der Beschwerdeführer hat als unterliegende Partei grundsätzlich die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (<ref-law>; <ref-ruling> E. 4a S. 202). Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde gegen die Verfügung vom 4. September 2008 des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, wird gutgeheissen. Die Verfügung wird aufgehoben soweit damit die unentgeltliche Verbeiständung abgewiesen wurde, und die Sache zu neuem Entscheid im Sinne der Erwägungen an die Vorinstanz zurückgewiesen.
2. Die Beschwerde gegen den Entscheid des Verwaltungsgerichtes des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 14. April 2009 wird abgewiesen.
3. Dem Beschwerdeführer wird im bundesgerichtlichen Verfahren, soweit sich die Beschwerde gegen den Entscheid vom 14. April 2009 richtet, die unentgeltliche Rechtspflege gewährt.
4. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes einstweilen auf die Gerichtskasse genommen.
5. Fürsprecherin Frau Katerina Baumann, Berner Rechtsberatungsstelle für Menschen in Not, wird als unentgeltliche Anwältin des Beschwerdeführers bestellt, und es wird ihr für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1'500.- ausgerichtet.
6. Der Kanton Bern hat den Beschwerdeführer für das bundesgerichtliche Verfahren in Bezug auf die Beschwerde gegen die Verfügung vom 4. September 2008 mit Fr. 1'000.- zu entschädigen.
7. Für das Verfahren gegen die Verfügung vom 4. September 2008 werden keine Kosten erhoben.
8. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse Versicherung und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. August 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Ettlin