Sachverhalt:
A. Der 1954 geborene P._ bezog gemäss Verfügung vom 14. November 1994 der Ausgleichskasse des Kantons Solothurn seit Januar 1990 eine ganze Invalidenrente (Invaliditätsgrad von 70 %). Am 5. Februar 2010 hob die IV-Stelle des Kantons Solothurn, namentlich gestützt auf das polydisziplinäre Gutachten des Instituts X._ vom 15. Dezember 2008 die Invalidenrente revisionsweise auf das Ende des der Verfügungszustellung folgenden Monats auf (Verfügung vom 5. Februar 2010; Invaliditätsgrad von 26 %).
B. P._ liess die Verfügung beschwerdeweise mit dem Antrag anfechten, es sei ihm die ganze Invalidenrente zu belassen. Zudem sei ihm die unentgeltliche Verbeiständung zu gewähren (genehmigt mit Verfügung vom 17. Juni 2010). Mit Entscheid vom 29. März 2011 wies das Versicherungsgericht des Kantons Solothurn die Beschwerde ab.
C. Hiegegen lässt P._ Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die vorinstanzlich gestellten Begehren erneuern.
Das Gesuch um Gewährung der unentgeltlichen Rechtspflege hat das Bundesgericht mit Verfügung vom 27. Mai 2011 abgewiesen.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2. Streitig und zu prüfen ist, ob das kantonale Versicherungsgericht Bundesrecht verletzte, indem es eine Verbesserung des Gesundheitsschadens annahm und neu einen rentenbegründenden Invaliditätsgrad verneinte.
2.1 Das vorinstanzliche Gericht stellte in Würdigung der medizinischen Unterlagen, insbesondere der Expertise des Instituts X._ vom 15. Dezember 2008, fest, der Gesundheitszustand des Versicherten habe sich mit überwiegender Wahrscheinlichkeit seit der Rentenrevision vom 15. November 2005 in psychischer Hinsicht verbessert. Im Verfügungszeitpunkt vom 5. Februar 2010 habe eine leichte depressive Störung vorgelegen und mit Bezug auf die somatischen Verhältnisse hätten die Gutachter den Morbus Cushing als Befund ohne Einfluss auf die Arbeitsfähigkeit angeführt. Der behandelnde Arzt, Dr. med. L._, Facharzt für Endokrinologie und Diabetologie, habe in der Stellungnahme vom 23. Februar 2010 den Morbus Cushing als abgeheilt erklärt. Laut beweiskräftigem Gutachten des Instituts X._ sei der Beschwerdeführer in einer körperlich leichten bis mittelschweren Tätigkeit zu 80 % arbeitsfähig. Bei einem ermittelten Invaliditätsgrad von 26 % bestätigte das vorinstanzliche Gericht die gestützt auf Art. 17 ATSG verfügte Rentenrevision.
2.2 Hiegegen erhebt der Beschwerdeführer keine stichhaltigen Einwände. Das kantonale Gericht wies zu Recht darauf hin, dass die Verfügung vom 5. Februar 2010 rechtsprechungsgemäss die zeitliche Grenze der richterlichen Überprüfungsbefugnis bildet (BGE 132 V 215 E. 3.1.1 S. 220 mit Hinweisen). Der Bericht vom 14. April 2010 des Dr. med. S._, Facharzt für Psychiatrie und Psychotherapie, beschlägt die am Tag der Berichterstattung begonnene psychiatrische Behandlung. Für die gesundheitlichen Verhältnisse im Verfügungszeitpunkt kann daraus nichts gewonnen werden. Ebenso hält die Auseinandersetzung mit den Stellungnahmen des Dr. med. L._ vor Bundesrecht stand. Es ist vollumfänglich auf den auch in diesem Punkt überzeugenden Entscheid vom 29. März 2011 zu verweisen. Da sowohl die renteneinstellende Verfügung vom 5. Februar 2010 wie auch der angefochtene Entscheid gestützt auf die Expertise des Instituts X._ vom 15. Dezember 2008 ergangen sind, kann dahingestellt bleiben, ob die das Gutachten bestätigende Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) vom 19. Juni 2009 Beweiskraft hat. In verfahrensrechtlicher Hinsicht ist festzuhalten, dass der Beschwerdeführer auf die Durchführung der von ihm ursprünglich beantragten öffentlichen Verhandlung später verzichtet hat. In diesem Lichte geht die Kritik ins Leere, es hätte im vorinstanzlichen Verfahren eine Parteibefragung angeordnet werden sollen. Das Gleiche gilt mit Bezug auf die Rüge eines rechtsfehlerhaft durchgeführten Schriftenwechsels. Der Beschwerdeführer hatte Gelegenheit, sich in der Replik vom 3. September 2010 zu sämtlichen Aspekten der Streitsache zu äussern, wovon er Gebrauch gemacht hat. Im Übrigen schloss das kantonale Gericht gemäss verfahrensleitender Verfügung vom 2. November 2010 den Schriftenwechsel im Einverständnis mit den Parteien ab.
Nachdem der rechtserhebliche Sachverhalt rechtsgenüglich erhoben worden ist, waren von zusätzlichen Abklärungsmassnahmen keine neuen entscheidwesentlichen Erkenntnisse zu erwarten, weshalb Verwaltung und Vorinstanz - ohne den Anspruch des Versicherten auf rechtliches Gehör zu verletzen - zu Recht auf die Abnahme weiterer Beweise verzichtet haben (antizipierte Beweiswürdigung; BGE 134 I 140 E. 5.3 S. 148; 124 V 90 E. 4b S. 94).
2.3 Die einzelnen Bemessungsfaktoren des Invaliditätsgrades sind weder in tatsächlicher noch in rechtlicher Hinsicht beanstandet und folglich nicht zu prüfen (BGE 125 V 413 E. 1b und 2c S. 415 ff.; 110 V E. 4a S. 53). Das kantonale Gericht hat den Sachverhalt rechtsfehlerfrei festgestellt (Art. 97 Abs. 1 und Art. 105 Abs. 1 BGG).
3. Insofern der Beschwerdeführer beantragt, die Entschädigung des amtlichen Rechtsanwaltes für das vorinstanzliche Verfahren sei zu erhöhen, ist mangels Beschwerdelegitimation auf die Beschwerde nicht einzutreten. Der Anspruch auf unentgeltliche Rechtsverbeiständung im Verfahren vor dem kantonalen Versicherungsgericht steht der gesuchstellenden Partei zu. Diese ist jedoch nicht berechtigt, die Entschädigung des unentgeltlichen Rechtsbeistandes anzufechten. Dazu ist nur der Rechtsvertreter selber legitimiert (ARV 1997 Nr. 27 S. 151 E. 4b, Urteil C 232/93 vom 19. Dezember 1994; unter der Geltung des BGG bestätigt etwa in SVR 2009 IV Nr. 48 S. 144, Urteil 9C_991/2008 vom 18. Mai 2009 E. 2.2.1). Im Übrigen genügt die Beschwerde den qualifizierten Rügepflichten gemäss Art. 106 Abs. 2 BGG nicht.
4. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. Juni 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Ettlin