Sachverhalt: A. Der 1951 geborene P._ bezieht seit dem 1. März 1997 wegen Rückenbeschwerden bei einem Invaliditätsgrad von 70 % eine ganze Rente der Invalidenversicherung (Verfügung der IV-Stelle Basel-Stadt vom 9. Juli 2001). Die IV-Stelle des Kantons Solothurn, wohin der Versicherte im Jahre 2002 seinen Wohnsitz verlegt hatte, führte per 31. März 2003 ein Revisionsverfahren durch, das sie mangels Änderung des Rentenanspruchs mit Mitteilung vom 8. April 2003 abschloss. Am 21. März 2006 leitete sie erneut ein Revisionsverfahren ein, stellte dem Versicherten einen Fragebogen zu und holte in der Folge beim Hausarzt Dr. med. B._, Innere Medizin FMH, Birsfelden, einen Arztbericht ein, der am 21. Mai 2006 erstattet wurde. Am 23. März 2007 ersuchte das Untersuchungsrichteramt des Kantons Aargau die IV-Stelle Solothurn um Zustellung der IV-Akten im Rahmen einer Strafuntersuchung gegen den Versicherten. Mit Schreiben vom 2. April 2007 informierte die IV-Stelle Basel-Stadt über die Wohnsitzverlegung des Versicherten nach Basel. Am 14. Mai 2007 holte die IV-Stelle des Kantons Solothurn bei Dr. med. B._ einen Verlaufsbericht für die Zeit ab Mai 2006 ein, der am 22. Juni 2007 erging. Das Untersuchungsrichteramt des Kantons Solothurn übermittelte dieser IV-Stelle am 9. April 2008 Ausschnitte aus dem untersuchungsrichterlichen Schlussbericht. Nach weiteren Abklärungen, insbesondere dem Beizug eines interdisziplinären Gutachtens des Instituts I._ vom 11. Juni 2009 und einer ergänzenden Stellungnahme vom 25. Juni 2009 hob die IV-Stelle des Kantons Solothurn nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 8. Dezember 2009 die Invalidenrente des Versicherten auf Ende des der Zustellung folgenden Monats auf. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 20. Oktober 2010 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte sinngemäss, unter Aufhebung der Verfügung vom 8. Dezember 2009 und des kantonalen Gerichtsentscheides sei ihm weiterhin eine ganze Invalidenrente auszurichten. Während die IV-Stelle des Kantons Solothurn auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.