Sachverhalt:
A. Der 1947 geborene R._ bezog gemäss Einspracheentscheid der IV-Stelle des Kantons Solothurn vom 12. August 2004 seit 1. November 2003 eine halbe Invalidenrente bei einem Invaliditätsgrad von 52 %. Mit Verfügung vom 3. August 2007 hob die IV-Stelle die halbe Invalidenrente auf Ende September 2007 auf, weil sich der Gesundheitszustand gebessert habe und der Versicherte wieder ein rentenausschliessendes Einkommen erzielen könnte. Die von R._ hiegegen eingereichte Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 27. Mai 2008 teilweise gut und wies die Sache an die IV-Stelle zurück, damit diese im Sinne der Erwägungen weitere Abklärungen zum psychischen Gesundheitszustand des Versicherten treffe und hernach erneut über eine allfällige Revision der Verfügung vom 12. August 2004 befinde oder diese in Wiedererwägung ziehe. Mit Verfügung vom 20. April 2009 hob die IV-Stelle gestützt auf weitere medizinische Abklärungen die frühere Verfügung vom 18. Oktober 2004 und den Einspracheentscheid vom 12. August 2004 wiedererwägungsweise auf und stellte fest, dass ab 1. Oktober 2007 kein Anspruch auf eine Invalidenrente mehr bestehe.
B. Die hiegegen eingereichte Beschwerde, mit welcher R._ die Zusprechung einer halben Invalidenrente über den 30. September 2007 hinaus beantragen liess, wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 23. Juli 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt R._ das vorinstanzlich gestellte Rechtsbegehren erneuern; eventuell sei die Sache zu ergänzender Abklärung und Verfügung an die IV-Stelle zurückzuweisen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Nach <ref-law> kann der Versicherungsträger auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist. Unter diesen Voraussetzungen kann die Verwaltung eine Rentenverfügung auch dann abändern, wenn die Revisionsvoraussetzungen des <ref-law> nicht erfüllt sind. Wird die zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung erst vom Gericht festgestellt, kann es die auf <ref-law> gestützte Revisionsverfügung mit dieser substituierten Begründung schützen (vgl. <ref-ruling> E. 2c S. 469, 125 V 368 E. 2 S. 369). Das Erfordernis der zweifellosen Unrichtigkeit ist in der Regel erfüllt, wenn eine Leistungszusprache aufgrund falsch oder unzutreffend verstandener Rechtsregeln erfolgt ist oder wenn massgebliche Bestimmungen nicht oder unrichtig angewandt wurden. Anders verhält es sich, wenn der Wiedererwägungsgrund im Bereich materieller Anspruchsvoraussetzungen liegt, deren Beurteilung notwendigerweise Ermessenszüge aufweist. Erscheint die Beurteilung einzelner Schritte bei der Feststellung solcher Anspruchsvoraussetzungen (Invaliditätsbemessung, Arbeitsunfähigkeitsschätzung, Beweiswürdigung, Zumutbarkeitsfragen) vor dem Hintergrund der Sach- und Rechtslage, wie sie sich im Zeitpunkt der rechtskräftigen Leistungszusprechung darboten, als vertretbar, scheidet die Annahme zweifelloser Unrichtigkeit aus. Zweifellos ist die Unrichtigkeit, wenn kein vernünftiger Zweifel daran möglich ist, dass die Verfügung unrichtig war. Es ist nur ein einziger Schluss - derjenige auf die Unrichtigkeit der Verfügung - denkbar (SVR 2010 IV Nr. 5 S. 10, 8C_1012/2008; Urteil 9C_575/2007 vom 18. Oktober 2007 mit Hinweisen). Entgegen den Ausführungen der Vorinstanz wurden mit dem Urteil 9C_272/2009 vom 16. September 2009 (SVR 2010 IV Nr. 19 S. 58) die Anforderungen an die Wiedererwägung nicht gelockert. Das Bundesgericht hielt in E. 5.3 lediglich fest, dass es sich erübrige, nachträglich die Arbeitsunfähigkeit im Zeitpunkt der ursprünglichen Rentenzusprechung zuverlässig zu ermitteln, dies jedoch vor dem Hintergrund, dass die ursprüngliche Rentengewährung im Ergebnis zweifellos unrichtig war (E. 5.2).
3. 3.1 Im Entscheid vom 27. Mai 2008 hielt die Vorinstanz fest, aufgrund der zur Verfügung stehenden Unterlagen lasse sich eine revisionsweise Aufhebung der laufenden halben Invalidenrente nicht begründen. Ebenso wenig nachzuweisen sei die zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung, weshalb zusätzliche Abklärungen Aufschluss über die medizinische Situation und deren Entwicklung zu geben hätten. Gestützt auf die Ergebnisse der psychiatrischen Untersuchung werde die IV-Stelle über eine Revision oder Wiedererwägung der Rentenverfügung neu befinden. Nachdem die Verwaltung zum Schluss gelangt war, die Rentenzusprechung sei offensichtlich unrichtig gewesen, zog sie die ursprüngliche Verfügung in Wiedererwägung und hob die laufende Rente auf. Das Versicherungsgericht bestätigte im angefochtenen Entscheid vom 23. Juli 2010, dass die Voraussetzungen für eine Wiedererwägung erfüllt seien.
3.2 Der Beschwerdeführer bestreitet das Vorliegen der Wiedererwägungsvoraussetzungen. Er macht geltend, die vorinstanzliche Beurteilung, wonach die ursprüngliche Leistungszusprechung praktisch allein auf der Diagnose einer somatoformen Schmerzstörung beruht habe, eine gutachterliche Prüfung und rechtskonforme Würdigung derselben jedoch unterblieben und deswegen ein offensichtlich unrichtiger Entscheid gefällt worden sei, erscheine unzutreffend. Weil sodann <ref-ruling> betreffend die Änderung der Rechtsprechung bei somatoformen Schmerzstörungen bei Erlass des Einspracheentscheides noch nicht publiziert war, könne die damalige Leistungszusprechung nicht nachträglich als offensichtlich unrichtig bezeichnet werden. Des Weiteren sei zu prüfen, ob aufgrund des vorinstanzlichen Entscheides vom 27. Mai 2008 bezüglich der Wiedererwägung nicht von einer res iudicata hätte ausgegangen werden müssen. Zu guter Letzt rügt der Beschwerdeführer, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör verletzt. Das entscheidende Gutachten des Dr. med. S._ vom 12. September 2008, in welchem für die bisherige Tätigkeit eine volle Arbeitsfähigkeit bescheinigt wurde, sei gleichzeitig mit der Gewährung des rechtlichen Gehörs in Auftrag gegeben worden, was unzulässig sei; denn der Versicherte sei rechtzeitig über die Person des in Aussicht genommenen Sachverständigen zu orientieren.
4. Der von der IV-Stelle mit der Begutachtung des Versicherten betraute Psychiater Dr. med. K._ diagnostizierte in der Expertise vom 30. Juli 2004, welche dem Einspracheentscheid vom 12. August 2004 zugrunde lag, nebst einer anhaltenden somatoformen Schmerzstörung Angst und depressive Störung gemischt (gemischte ängstlich-depressive Störung). Diese Diagnose, nach ausdrücklicher Auseinandersetzung mit der abweichenden Auffassung des PD Dr. med. E._ gestellt, kann durchaus als Komorbidität im Sinne von <ref-ruling> E. 2.2.3 S. 353 f. betrachtet werden. Der allfällige Wiedererwägungsgrund liegt damit im Bereich materieller Anspruchsvoraussetzungen, deren Beurteilung Ermessenszüge aufweist (E. 2 hievor). Wenn die IV-Stelle im Einspracheentscheid das Gutachten des Dr. med. K._ im Einklang mit der Einschätzung ihres medizinischen Dienstes als beweiskräftig qualifiziert und dem Beschwerdeführer gestützt darauf eine halbe Invalidenrente zugesprochen hat, ist dies mit Blick auf die damals geltende Rechtslage vertretbar, womit die Annahme zweifelloser Unrichtigkeit ausscheidet. Die Beschwerde ist begründet.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde werden der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 23. Juli 2010 und die Verfügung der IV-Stelle des Kantons Solothurn vom 20. April 2009 aufgehoben. Es wird festgestellt, dass der Beschwerdeführer über den 30. September 2007 hinaus Anspruch auf eine halbe Invalidenrente hat.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Solothurn zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Ausgleichskasse des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. November 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer