Sachverhalt:
A.
A.a. A._, geboren 1956, meldete sich am 23. Oktober 2008 unter Hinweis auf Beschwerden am linken Knie, Bandscheibenvorfälle, Arthrose sowie eine unfallbedingte Verletzung der rechten Schulter bei der Invalidenversicherung zum Leistungsbezug an. Nach verschiedenen Abklärungen in medizinischer und erwerblicher Hinsicht und dem Beizug der versicherungsmedizinischen Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) sprach ihm die IV-Stelle Luzern nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 29. April 2011 ab 1. April 2009 eine ganze und ab 1. Februar 2010 bei einem Invaliditätsgrad von 53 % eine halbe Rente der Invalidenversicherung zu.
Gegen diese Verfügung liess der Versicherte beim Verwaltungsgericht des Kantons Luzern (heute: Kantonsgericht Luzern) Beschwerde führen mit dem Antrag auf Ausrichtung einer Dreiviertelsrente. Das Gericht holte daraufhin beim Kreisarzt Dr. med. B._, Facharzt Orthopädie und Orthopädische Chirurgie, eine Beweisauskunft (vom 22. Februar 2010) und eine Ergänzung dazu (vom 28. Februar 2012)ein. Nachdem es den Versicherten auf eine drohende Schlechterstellung (reformatio in peius) aufmerksam gemacht hatte, zog dieser mit Schreiben vom 2. April 2012 die Beschwerde zurück, woraufhin das Verwaltungsgericht das Beschwerdeverfahren als erledigt erklärte (Verfügung vom 25. April 2012).
A.b. In der Folge kam die IV-Stelle wiedererwägungsweise auf die Verfügung vom 29. April 2011 zurück und hob die Rente auf das Ende des der Zustellung folgenden Monats (per 31. Oktober 2012) auf (Verfügung vom 25. September 2012).
B.
Die dagegen erhobene Beschwerde wies das Kantonsgericht Luzern mit Entscheid vom 29. Oktober 2013 ab.
C.
Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des kantonalen Gerichtsentscheids sowie der Verfügung vom 25. September 2012 habe ihm die IV-Stelle ab 1. Februar 2010 und weiterhin eine halbe Rente auszurichten.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Es wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden (<ref-ruling> E. 1.4.1 S. 254).
2.
Nach <ref-law> kann der Versicherungsträger durch Wiedererwägung auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn die ursprüngliche Leistungszusprechung nach damaliger Sach- und Rechtslage zweifellos unrichtig war und ihre Berichtigung von erheblicher Bedeutung ist. Vorausgesetzt ist, dass kein vernünftiger Zweifel an der Unrichtigkeit der Verfügung möglich, also nur dieser einzige Schluss denkbar ist. Dieses Erfordernis ist in der Regel erfüllt, wenn eine Leistungszusprechung aufgrund falscher Rechtsregeln erfolgte oder wenn massgebliche Bestimmungen nicht oder unrichtig angewandt wurden (<ref-ruling> E. 3.3 S. 328 mit Hinweisen). Zweifellos unrichtig ist die Verfügung auch, wenn ihr ein unhaltbarer Sachverhalt zugrunde gelegt wurde, insbesondere wenn eine klare Verletzung des Untersuchungsgrundsatzes zu einem unvollständigen Sachverhalt führte (vgl. <ref-law>; Urteil 9C_466/2010 vom 23. August 2010 E. 3.2.2 mit Hinweis). Die Frage nach der zweifellosen Unrichtigkeit beurteilt sich nach der Rechtslage im Zeitpunkt des Verfügungserlasses, einschliesslich der damaligen Rechtspraxis (vgl. <ref-ruling> E. 2.1 S. 149 mit Hinweisen). Sind die Voraussetzungen der Wiedererwägung gegeben, werden die Anspruchsberechtigung und allenfalls der Umfang des Anspruchs pro futuro geprüft. Wie bei einer materiellen Revision nach <ref-law> ist auf der Grundlage eines richtig und vollständig festgestellten Sachverhalts der Invaliditätsgrad zu ermitteln (Urteil 9C_22/2012 vom 4. Mai 2012 E. 3.1 mit Hinweisen).
3.
Streitig und zu prüfen ist einzig, ob die gestützt auf die Wiedererwägung (Art. 53 Abs. 2 in Verbindung mit <ref-law> und <ref-law>) verfügte und vorinstanzlich bestätigte Aufhebung der Invalidenrente per 31. Oktober 2012 Bundesrecht verletzt (E. 1).
4.
4.1. Nach Würdigung der der ursprünglichen Rentenverfügung zugrunde liegenden medizinischen Unterlagen gelangte die Vorinstanz zum Schluss, dass die mit rechtskräftiger Verfügung vom 29. April 2011 erfolgte Invaliditätsbemessung sich auf keine schlüssige und nachvollziehbare fachärztliche Einschätzung der massgeblichen Arbeitsfähigkeit stützen könne und mithin auf keiner rechtsgenüglichen medizinischen Grundlage beruhe. Die IV-Stelle hätte angesichts der übrigen Aktenlage nicht unbesehen auf die Arbeitsfähigkeitsbeurteilung des Kreisarztes Dr. med. B._ für den "allgemeinen Arbeitsmarkt" abstellen dürfen, sondern hätte seine an sich klare Aussage zur IV-rechtlich allein entscheidenden Frage der Arbeitsfähigkeit in einer zumutbaren Verweisungstätigkeit berücksichtigen müssen. Auch die übrige medizinische Aktenlage, wie sie sich im Zeitpunkt der Leistungszusprechung am 29. April 2011 dargeboten habe, lasse die Rentenzusprache nicht als vertretbar erscheinen. Infolge Verletzung des Untersuchungsgrundsatzes sei die Invaliditätsbemessung nicht rechtskonform und die entsprechende Verfügung demzufolge zweifellos unrichtig im wiedererwägungsrechtlichen Sinn. Dies ist nicht zu beanstanden.
4.2. Die Einwendungen des Beschwerdeführers vermögen zu keinem andern Ergebnis zu führen. Sie sind nicht geeignet, die für das Bundesgericht grundsätzlich verbindliche vorinstanzliche Sachverhaltsfeststellung als offensichtlich unrichtig, als Ergebnis willkürlicher Beweiswürdigung oder als rechtsfehlerhaft nach <ref-law> erscheinen zu lassen, oder sonstwie eine Bundesrechtswidrigkeit zu begründen. Insbesondere kann entgegen dem Beschwerdeführer die vom Kreisarzt im Untersuchungsbericht vom 3. November 2009 verwendete Formulierung, auf dem "allgemeinen Arbeitsmarkt" könne von einer Arbeitsfähigkeit von 60 % ausgegangen werden, nicht ohne weiteres mit dem ausgeglichenen Arbeitsmarkt gemäss <ref-law> gleichgesetzt werden, womit dessen damalige Aussage nicht klarer bzw. verständlicher wird. Wie die Vorinstanz richtig feststellte, lagen zum Zeitpunkt der ursprünglichen Verfügung keine nachvollziehbaren fachärztlichen Einschätzungen vor, welche die von der IV-Stelle getroffene Annahme einer 60%igen massgeblichen Arbeitsfähigkeit schützen würden. Wenn der Beschwerdeführer schliesslich einen Widerspruch darin sieht, dass die Vorinstanz die späteren Berichte des Dr. med. B._, insbesondere denjenigen vom 9. (recte 11.) August 2011, als rechtsgenügliche medizinische Grundlage für den Entscheid wertete - was im Übrigen nicht bestritten wird -, nicht aber den ersten Bericht vom 3. November 2009, obwohl sie im Wesentlichen inhaltlich demjenigen entsprechen würden, kann ihm nicht gefolgt werden. Im massgebenden Bericht vom 11. August 2011, der entgegen einem Verschrieb der Vorinstanz von Kreisarzt Dr. med. C._, Facharzt Orthopädische Chirurgie und Traumatologie des Bewegungsapparates FMH verfasst wurde, ist nicht vom "allgemeinen Arbeitsmarkt" die Rede und in den Berichten des Dr. med. B._, insbesondere der Beweisauskunft vom 22. Februar 2012 wird erläutert, was darunter zu verstehen ist. In beiden Berichten wird sodann eine volle Arbeitsfähigkeit für angepasste leichte bis mittelschwere Arbeiten attestiert. Mithin steht fest, dass die ursprüngliche Verfügung mit Blick auf die Aktenlage auf einer klaren Verletzung des Untersuchungsgrundsatzes beruhte und damit zu Recht in Wiedererwägung gezogen wurde.
4.3. Was schliesslich die Prüfung der Anspruchsberechtigung ex nunc et pro futuro betrifft, gelangte die Vorinstanz nach Würdigung der medizinischen Akten, insbesondere der vom Gericht eingeholten Beweisauskunft des Kreisarztes Dr. med. B._ vom 22. Februar 2012 und dessen Ergänzung vom 28. Februar 2012 sowie der Einschätzung der RAD-Ärztin Dr. med. D._ vom 12. Oktober 2009), wonach die Arbeitsfähigkeit allein durch die Schulterproblematik bestimmt werde, zum Ergebnis, dass auf den letzten kreisärztlichen Untersuchungsbericht des Dr. med. B._ (recte: Dr. med. C._) vom 9. August 2011, dem sie vollen Beweiswert (vgl. <ref-ruling> E. 3a S. 352) zuerkannte, abgestellt werden durfte und gestützt darauf zu Recht von einer vollumfänglichen Arbeitsfähigkeit des Beschwerdeführers in einer angepassten, leichten bis mittelschweren Tätigkeit ausgegangen worden sei. Zudem bestätigte sie einen rentenausschliessenden Invaliditätsgrad von unter 20 %. Nachdem der Beschwerdeführer diesbezüglich keine konkreten Einwände erhebt, hat es mit der wiedererwägungsweisen Aufhebung der Invalidenrente in Anwendung von <ref-law> sein Bewenden.
5.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Weber Peter