Sachverhalt:
A. Der 1951 geborene P._ bezieht seit dem 1. März 1997 wegen Rückenbeschwerden bei einem Invaliditätsgrad von 70 % eine ganze Rente der Invalidenversicherung (Verfügung der IV-Stelle Basel-Stadt vom 9. Juli 2001). Die IV-Stelle des Kantons Solothurn, wohin der Versicherte im Jahre 2002 seinen Wohnsitz verlegt hatte, führte per 31. März 2003 ein Revisionsverfahren durch, das sie mangels Änderung des Rentenanspruchs mit Mitteilung vom 8. April 2003 abschloss. Am 21. März 2006 leitete sie erneut ein Revisionsverfahren ein, stellte dem Versicherten einen Fragebogen zu und holte in der Folge beim Hausarzt Dr. med. B._, Innere Medizin FMH, Birsfelden, einen Arztbericht ein, der am 21. Mai 2006 erstattet wurde. Am 23. März 2007 ersuchte das Untersuchungsrichteramt des Kantons Aargau die IV-Stelle Solothurn um Zustellung der IV-Akten im Rahmen einer Strafuntersuchung gegen den Versicherten. Mit Schreiben vom 2. April 2007 informierte die IV-Stelle Basel-Stadt über die Wohnsitzverlegung des Versicherten nach Basel. Am 14. Mai 2007 holte die IV-Stelle des Kantons Solothurn bei Dr. med. B._ einen Verlaufsbericht für die Zeit ab Mai 2006 ein, der am 22. Juni 2007 erging. Das Untersuchungsrichteramt des Kantons Solothurn übermittelte dieser IV-Stelle am 9. April 2008 Ausschnitte aus dem untersuchungsrichterlichen Schlussbericht. Nach weiteren Abklärungen, insbesondere dem Beizug eines interdisziplinären Gutachtens des Instituts I._ vom 11. Juni 2009 und einer ergänzenden Stellungnahme vom 25. Juni 2009 hob die IV-Stelle des Kantons Solothurn nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 8. Dezember 2009 die Invalidenrente des Versicherten auf Ende des der Zustellung folgenden Monats auf.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 20. Oktober 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte sinngemäss, unter Aufhebung der Verfügung vom 8. Dezember 2009 und des kantonalen Gerichtsentscheides sei ihm weiterhin eine ganze Invalidenrente auszurichten.
Während die IV-Stelle des Kantons Solothurn auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde an das Bundesgericht (<ref-law>) nur zu prüfen, ob der angefochtene Gerichtsentscheid in Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (unter anderem) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung und die gestützt darauf gestellte Diagnose betreffen ebenso eine Tatfrage wie die aufgrund von medizinischen Untersuchungen gerichtlich festgestellte Arbeitsunfähigkeit (<ref-ruling> E. 3.2 S. 397 ff.). Analoges gilt für die Frage, ob sich eine Arbeits(un)fähigkeit in einem bestimmten Zeitraum in einem revisionsrechtlich relevanten Sinne (<ref-law>) verändert hat (Urteil I 865/06 vom 12. Oktober 2007 E. 4). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> eine vom Bundesgericht frei überprüfbare Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 9C_270/2008 vom 12. August 2008 E. 2.2). Gleiches gilt mit Bezug auf die Beachtung der bundesrechtlichen Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (vgl. <ref-ruling> E. 3 S. 352 ff.).
2. Die angefochtene Revisionsverfügung vom 8. Dezember 2009 wurde von der IV-Stelle des Kantons Solothurn erlassen. Der Beschwerdeführer bestreitet vorab die Zuständigkeit dieser IV-Stelle, da er im März 2007 seinen Wohnsitz in den Kanton Basel-Stadt verlegt hat.
2.1 Zuständig ist nach <ref-law> in der Regel die IV-Stelle, in deren Kantonsgebiet der Versicherte im Zeitpunkt der Anmeldung seinen Wohnsitz hat. Der Bundesrat ordnet die Zuständigkeit in Sonderfällen. Gemäss <ref-law> werden die Revisionsverfahren von jener IV-Stelle durchgeführt, die bei Eingang des Revisionsgesuches oder bei der Wiederaufnahme des Verfahrens von Amtes wegen nach <ref-law> für den Fall zuständig ist. Die einmal begründete Zuständigkeit der IV-Stelle bleibt gemäss <ref-law> im Verlaufe des Verfahrens erhalten.
2.2 Gemäss den Erwägungen der Vorinstanz eröffnete die IV-Stelle des Kantons Solothurn am 21. März 2006, als der Beschwerdeführer noch Wohnsitz in diesem Kanton hatte, mit der Zustellung des Revisionsbogens ein Revisionsverfahren, welches erst mit der vorliegend angefochtenen Verfügung abgeschlossen wurde. Demgegenüber macht der Versicherte geltend, das mit vorliegend angefochtener Verfügung abgeschlossene Revisionsverfahren sei in Anwendung von <ref-law> erst eröffnet worden, als die IV-Stelle Kenntnis von den gegen ihn erhobenen Vorwürfen erhalten habe; zu diesem Zeitpunkt habe er seinen Wohnsitz bereits aus dem Kanton Solothurn wegverlegt gehabt. Durch den im Jahre 2006 eingeholten Revisionsfragebogen und den Arztbericht hätten sich keine Hinweise für einen möglichen Revisionsgrund ergeben. Es trifft indessen nicht zu, dass die IV-Stelle dem im März 2006 eingeleiteten Verfahren keine Folge gegeben hätte. Aus dem Verlaufsprotokoll geht hervor, dass sie dem Beschwerdeführer bereits am 2. April 2007 mitgeteilt hatte, dass bezüglich des hängigen Revisionsverfahrens noch Abklärungen erfolgen sollten. Sie ging somit von einem nach wie vor offenen Verfahren aus. Aus den Akten ergibt sich sodann, dass sie bereits am 19. Oktober 2006 Kenntnis davon erhalten hat, der Nachbar des Versicherten beschuldige diesen, in seiner Liegenschaft ein zumindest nicht bauzonenkonformes Transportgewerbe zu betreiben. Nachdem der Beschwerdeführer gemäss den verbindlichen Feststellungen der Vorinstanz seinen Wohnsitz erst im März 2007 in den Kanton Basel-Stadt verlegte, stösst seine Argumentation mithin ins Leere.
2.3 Da somit das Revisionsverfahren jedenfalls vor dem Wohnsitzwechsel eröffnet wurde und da die einmal begründete Zuständigkeit der IV-Stelle im Verlaufe des Verfahrens erhalten bleibt, war die IV-Stelle des Kantons Solothurn für den Erlass der Verfügung vom 8. Dezember 2009 zuständig.
3. Materiell streitig und zu prüfen ist vorliegend, ob seit der ursprünglichen Verfügung vom 9. Juli 2001 - letzte rechtskräftige Verfügung mit vollständiger Anspruchsabklärung (vgl. <ref-ruling> E. 3 S. 132 und 133 V 108 E. 5.4 S. 114, je mit Hinweisen) - bis zum Erlass der angefochtenen Verfügung vom 8. Dezember 2009 eine Veränderung des Gesundheitszustandes mit Auswirkung auf die Arbeits- und Erwerbsfähigkeit eingetreten ist, welche die Aufhebung der Rente zu begründen vermag. Im angefochtenen Entscheid werden die zur Beurteilung des Leistungsanspruchs einschlägigen Rechtsgrundlagen zutreffend dargelegt, worauf verwiesen wird.
4. 4.1 Das kantonale Gericht hat in umfassender Würdigung der medizinischen Akten, insbesondere gestützt auf das interdisziplinäre Gutachten des Instituts I._ vom 11. Juni 2009 und die ergänzende Stellungnahme desselben Instituts vom 25. Juni 2009, für das Bundesgericht grundsätzlich verbindlich festgestellt, der Gesundheitszustand des Versicherten habe sich in der revisionsrechtlich relevanten Zeit zwischen der Rentenzusprache vom 9. Juli 2001 und der Revisionsverfügung vom 8. Dezember 2009 erheblich verbessert und er sei nunmehr in der Lage eine leidensangepasste, körperlich leichte, wechselbelastende berufliche Tätigkeit mit voller Arbeits- und Leistungsfähigkeit auszuüben. Eine rentenbegründende Invalidität sei nicht mehr gegeben. Was der Beschwerdeführer dagegen vorbringt, vermag, soweit relevant, diese Feststellungen nicht als offensichtlich unrichtig oder bundesrechtswidrig erscheinen zu lassen. Insbesondere ist der Vorinstanz darin beizupflichten, dass das interdisziplinäre (internistische, orthopädische und psychiatrische) Gutachten des Instituts I._ die rechtsprechungsgemässen Anforderungen (vgl. <ref-ruling> E. 3 S. 352 ff.) erfüllt und ihm mithin voller Beweiswert zukommt. Wenn die Vorinstanz den Berichten des Hausarztes Dr. med. B._ bezüglich der Einschätzung der aktuellen Arbeits- und Leistungsfähigkeit mit dem Hinweis auf das auftragsrechtliche Vertrauensverhältnis (<ref-ruling> E. 4.5 S. 470; <ref-ruling> E. 3b S. 353) weniger Beweiskraft beimass, ist dies nicht offensichtlich unrichtig, zumal sie überdies nur knapp begründet sind. Zudem wird im Gutachten des Instituts I._ entgegen den beschwerdeführerischen Vorbringen zur Ursache allfälliger Diskrepanzen zu früheren Arztberichten mit Blick auf die vorhandenen untersuchungsrichterlichen Akten nachvollziehbar begründet, dass bei der Beurteilung der Einschränkung der Arbeitsfähigkeit die im Arbeitsleben des Versicherten de facto noch bewältigten Aktivitäten zu wenig berücksichtigt wurden. Entgegen den sinngemässen Ausführungen des Beschwerdeführers handelt es sich bei der Einschätzung des Instituts I._ zur Veränderung des Gesundheitszustandes nicht bloss um eine andere, abweichende Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts, was keine revisionsrechtlich relevante Änderung darstellen würde. Zwar hat sich die Diagnosestellung im Gutachten des Instituts I._ seit Erlass der ursprünglichen Verfügung vom 9. Juli 2001 nicht wesentlich verändert. Allerdings ist der Vorinstanz darin beizupflichten, dass eine Veränderung des Gesundheitszustandes nicht in jedem Fall in einer abweichenden Diagnose Ausdruck finden muss, sondern unter Umständen bei gleichbleibendem Leiden - und damit unveränderter Diagnose - abhängig vom jeweiligen Schweregrad des Krankheitsbildes bejaht werden kann (Urteil 8C_975/2008 vom 6. Mai 2009 E. 2.2). So kann trotz gleicher Diagnosen von einem verbesserten Gesundheitszustand ausgegangen werden, wenn sich die Befunde weniger ausgeprägt darstellen mit entsprechender Auswirkung auf die Leistungsfähigkeit (Urteil 8C_166/2010 vom 3. November 2010 E. 3.4). Gemäss ergänzender Stellungnahme des Instituts I._ sind unbestrittenermassen keine Befunde feststellbar, welche eine höhergradige Arbeitsunfähigkeit rechtfertigen könnten. Die vorinstanzlich Feststellung, der Zustand des Versicherten habe sich erheblich verbessert, erscheint demnach mit Blick auf die im Jahre 2004 durchgeführte Operation nicht als willkürlich. Inwiefern übrigens gemäss erneuten Vorbringen des Beschwerdeführers die Rechtsprechung des Bundesgerichts betreffend Schmerzstörungen vorliegend eine Rolle spielen könnte, ist nicht nachvollziehbar, mangelt es doch bereits an einer entsprechenden psychiatrischen Diagnose.
4.2 Sind die vorinstanzlichen Feststellungen zur Verbesserung des Gesundheitszustandes und der Arbeitsfähigkeit des Beschwerdeführers für das Bundesgericht mithin verbindlich, ist die im Übrigen nicht weiter gerügte, im angefochtenen Entscheid bestätigte revisionsweise Aufhebung der Rente bundesrechtskonform.
5. Dem Ausgang der Verfahren entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. April 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Weber Peter