Sachverhalt:
A.
Der 1963 geborene A._ meldete sich am 15. Mai 1991 wegen einer Diskushernie L 4/5 mit einem radikulären Reiz- und sensiblen Ausfallsyndrom L5/S1 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 5. Juli 2000 sprach die Sozialversicherungsanstalt des Kantons Zürich, IV-Stelle, dem Versicherten rückwirkend ab Dezember 1995 eine halbe Invalidenrente auf Grund eines Invaliditätsgrades von 56 % zu. Die IV-Stelle bestätigte dies im Rahmen von Rentenrevisionsverfahren in den Jahren 2002 und 2006.
Im Jahre 2011 leitete die IV-Stelle ein weiteres Revisionsverfahren ein. In dessen Verlauf gab A._ an, im März 2008 sei zusätzlich die Diagnose einer Multiplen Sklerose gestellt worden. Zudem habe er im Jahre 2007 eine selbstständige Erwerbstätigkeit aufgenommen. In der Folge zog die IV-Stelle Akten der Ausgleichskasse über geleistete Sozialversicherungsbeiträge seit 2007 bei und nahm eine Abklärung über die Tätigkeit des Versicherten vor. Insbesondere gestützt auf die Angaben aus den Buchhaltungsunterlagen (Geschäftsabschlüsse und Buchungen im Individuellen Konto [IK-Auszug]) ermittelte die IV-Stelle ein rentenausschliessendes Invalideneinkommen seit dem Jahre 2008 und hob die laufende Invalidenrente mit Verfügung vom 30. August 2012 rückwirkend per 1. Januar 2008 auf. Gleichzeitig verfügte sie die Rückerstattung der seit diesem Zeitpunkt zu Unrecht bezogenen Leistungen und entzog einer allfälligen Beschwerde die aufschiebende Wirkung.
B.
Das Sozialversicherungsgericht des Kantons Zürich wies eine dagegen erhobene Beschwerde mit Entscheid vom 29. November 2013 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Aufhebung des angefochtenen Entscheides und die weitere Ausrichtung der halben Invalidenrente beantragen.
Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (Art. 17 Abs. 1 ATSG). Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Insbesondere ist die Rente nicht nur bei einer wesentlichen Änderung des Gesundheitszustandes, sondern auch dann revidierbar, wenn die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes sich erheblich verändert haben (BGE 130 V 343 E. 3.5 S. 349 mit Hinweisen). Zeitliche Vergleichsbasis für die Beurteilung einer anspruchserheblichen Änderung des Invaliditätsgrades bilden die letzte rechtskräftige Verfügung oder der letzte rechtskräftige Einspracheentscheid, welche oder welcher auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Invaliditätsbemessung beruht (BGE 134 V 131 E. 3 S. 132 und 133 V 108 E. 5.4 S. 114; Urteil 9C_524/2008 vom 15. Juli 2009 E. 2.2 mit Hinweisen).
3.
3.1. Die Vorinstanz erwog, da für die Bejahung eines leistungsrelevanten Revisionsgrundes eine Änderung in den wirtschaftlichen Verhältnissen genüge, sei die vom Beschwerdeführer geforderte weitere Abklärung des Gesundheitszustandes und der zumutbaren Arbeitsfähigkeit in einer leidensangepassten Tätigkeit nicht nötig.
Angesichts des beruflichen Werdegangs des Versicherten sei nicht von einer beruflichen Karriere im Gesundheitsfall auszugehen. Zur Bestimmung des Valideneinkommens stellte das kantonale Gericht auf die Tabellenlöhne gemäss den vom Bundesamt für Statistik herausgegebenen Lohnstrukturerhebungen (LSE) ab. Entsprechend dem durchschnittlichen Einkommen von Männern für einfache und repetitive Tätigkeiten (Anforderungsniveau 4) sei dieses auf Fr. 62'355.- im Jahr zu beziffern. Verglichen mit dem in den Jahren 2008 bis 2010 durchschnittlich erzielten Gewinn der Einzelfirma des Beschwerdeführers - zuzüglich der in den Erfolgsrechnungen abgezogenen Sozialversicherungsbeiträge - von Fr. 48'544.- resultiere ein Invaliditätsgrad von 22 %. Seit dem Jahre 2008 bestehe kein Anspruch auf eine Invalidenrente mehr. Da der Versicherte die damalige Einkommensverbesserung der IV-Stelle nicht gemeldet habe, führe die rückwirkende Rentenaufhebung zu einer Rückerstattungspflicht.
3.2. Der Beschwerdeführer rügt eine willkürliche Beweiswürdigung. In seinen wirtschaftlichen Verhältnissen sei keine massgebliche Veränderung eingetreten, weshalb auch kein Revisionsgrund bestehe. Darüber hinaus habe das kantonale Gericht bei der Bestimmung des Valideneinkommens die in der Invalidentätigkeit tatsächlich eingetretene berufliche Karriere nicht berücksichtigt und damit Recht verletzt. Die bis zum Revisionszeitpunkt erfolgte Steigerung seines Invalideneinkommens sei auch bei der Bemessung des Validenein-kommens zu berücksichtigen. Zumindest sei in analoger Anwendung der Rechtsprechung betreffend der Kürzung von Tabellenlöhnen der LSE ein Zuschlag von 25 % vorzunehmen. Weiter lässt er auch die Ermittlung des Invalideneinkommens kritisieren.
4.
4.1. Eine Rentenrevision kann durchgeführt werden, wenn sich die tatsächlichen Verhältnisse anspruchserheblich ändern. Diese Voraussetzung ist erfüllt, wenn die versicherte Person eine selbstständige Erwerbstätigkeit aufnimmt (z.B. Urteil 9C_868/2013 vom 24. März 2014 E. 3). Die berufliche Neuorientierung des Beschwerdeführers im Jahre 2007 setzte einen Revisionsgrund, der zu einer allseitigen Prüfung der Anspruchsvoraussetzungen berechtigte. Die dagegen erhobene Rüge ist unbegründet.
4.2.
4.2.1. Das Valideneinkommen ist so konkret wie möglich - in der Regel gestützt auf das vor Eintritt des Gesundheitszustands zuletzt tatsächlich erzielte Einkommen, bei stark schwankenden Einkommensverhältnissen gestützt auf den vor Eintritt der Invalidität während einer längeren Zeitspanne erzielten Durchschnittsverdienst - zu bestimmen (BGE 139 V 28 E. 3.3.2 S. 30). Beim Valideneinkommen bleibt als Bezugsgrösse der zuletzt erzielte Verdienst grundsätzlich bestehen, ausser es finden sich genügend konkrete Anhaltspunkte für eine berufliche Weiterentwicklung.
4.2.2. Das kantonale Gericht erkannte, das im letzten Anstellungsverhältnis erzielte Einkommen als Hilfsarbeiter bei der Firma B._ AG sei angesichts der kurzen Anstellungsdauer von einem halben Jahr nicht als Grundlage für die Ermittlung des Valideneinkommens heranzuziehen. Vielmehr ging die Vorinstanz von statistischen Werten gemäss LSE aus, was nicht zu beanstanden ist (vgl. Urteil 9C_93/2008 in: SVR 2009 IV Nr. 27 S. 75). Dieses Vorgehen rechtfertigt sich auch angesichts der Erwerbsbiografie des Versicherten, wie sie sich aus dem IK-Auszug ergibt. Demnach arbeitete dieser nie über mehrere Jahre an der gleichen Stelle. Perioden von Arbeitstätigkeit wechselten sich häufig mit Erwerbslosigkeit ab. Angesichts der tatsächlich verbuchten Einkommen entbehrt die beschwerdeführerische Behauptung, als Gesunder könnte er ein Einkommen von Fr. 77'943.- bis Fr. 97'086.- erzielen, jeder Grundlage. Aus dem Umstand, dass er mit gesundheitlichen Einschränkungen in der Lage war, seit dem Jahre 2008 ein durchschnittliches Einkommen von Fr. 48'543.- zu erzielen, kann nicht geschlossen werden, als Gesunder würde er ungefähr das Doppelte verdienen können. Dafür fehlen konkrete Indizien, was Voraussetzung dafür wäre, beim Valideneinkommen eine entsprechende Entwicklung seit der ursprünglichen Rentenverfügung zu berücksichtigen. Gemäss Rechtsprechung darf aus einer erfolgreichen Invalidenkarriere in einem neuen Tätigkeitsbereich nicht ohne Weiteres abgeleitet werden, die versicherte Person hätte ohne Invalidität eine vergleichbare Position erreicht ( ULRICH MEYER, Rechtsprechung des Bundesgerichts zum IVG, 2. Aufl. 2010, S. 35 mit Hinweis auf RKUV 2005 U 554 S. 315).
4.2.3. Auch dem Vorbringen, analog zur Rechtsprechung über behinderungsbedingte Abzüge vom Tabellenlohn seien auch Zuschläge zu berücksichtigen, kann nicht gefolgt werden. Der Versicherte verkennt den Grund für Abzüge von Tabellenlöhnen gemäss BGE 126 V 75. Ein solcher kann vorgenommen werden, wenn für eine versicherte Person konkrete Anhaltspunkte dafür bestehen, dass sie wegen eines oder mehrerer Merkmale die gesundheitlich bedingte (Rest-) Arbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichen Erfolg verwerten kann (BGE 126 V 75 E. 5b/aa S. 80). Wenn konkrete Indizien bestehen, dass eine versicherte Person als Gesunde einen überdurchschnittlichen Verdienst erzielen würde, ist der konkret ermittelte Wert und nicht derjenige nach LSE mit einem Zuschlag zu berücksichtigen. Für eine analoge Anwendung der Rechtsprechung gemäss BGE 126 V 75 für die Bestimmung des hypothetischen Valideneinkommens bleibt daher kein Raum. Wie dargelegt, finden sich vorliegend keine Indizien dafür, dass der Beschwerdeführer als Gesunder ein Einkommen hätte erzielen können, das über dem Niveau der entsprechenden statistischen Werte für männliche Arbeitnehmer mit einem niedrigen Anforderungsprofil liegen. Das kantonale Gericht hat das Valideneinkommen mit Fr. 62'355.- rechtskonform ermittelt.
4.3.
4.3.1. Hinsichtlich des Invalideneinkommens wird vorgebracht, die IV-Stelle habe zum durchschnittlichen Reingewinn von Fr. 44'686.- zu Unrecht die ganzen Sozialversicherungsbeiträge hinzugerechnet und sei so zu einem Betrag von Fr. 48'543.- gelangt. Als selbstständig Erwerbender habe er 10,5 % des Einkommens und damit doppelt so viel zu entrichten, wie Arbeitnehmer. Vergleiche man sein Einkommen mit den statistischen Werten gemäss LSE, in welchen das Bruttogehalt, nicht aber die Arbeitgeberbeiträge enthalten seien, dürften auch nur die "Arbeitnehmerbeiträge", somit 5,25 % hinzugerechnet werden.
4.3.2. Der Beschwerdeführer verkennt, dass er mit dem ermittelten durchschnittlichen Reingewinn von Fr. 44'686.- aufgrund der sinkenden Beitragsskala im relevanten Jahr 2011 nur 7,71 % AHV/IV/EO-Beitäge zu entrichten hatte (Art. 8 Abs. 1 AHVG i.V.m. Art. 21 Abs. 1 AHVV und Art. 3 Abs. 1 IVG je in der bis zum 31. De-zember 2012 geltenden Fassung). Mit der Vorinstanz ist auf das weitere Argument, dass ein selbstständig Erwerbender aus seinem Reingewinn auch Rückstellungen für die Alters-, Invaliditäts- und Krankheitsrisiken vornehmen muss, welche ein Arbeitnehmer nicht selber beziehungsweise nicht alleine zu tragen hat, und welche entsprechend nicht in den Durchschnittslöhnen gemäss LSE enthalten sind, nicht weiter einzugehen. Denn selbst wenn man darauf abstellen wollte, würde damit kein Invalideneinkommen von weniger als Fr. 37'413.- resultieren und damit einen Anspruch von zumindest einer Viertelsrente begründen. Der Beschwerdeführer hat seine entsprechenden Ausführungen denn auch nicht genügend mit Fakten konkretisiert und entsprechend begründet. Es bleibt somit bei dem von der Vorinstanz festgestellten Invaliditätsgrad von 22 %.
4.4. Die Vorinstanz hat den zur Bestimmung des Invaliditätsgrades vorzunehmenden Einkommensvergleich gemäss Art. 16 ATSG korrekt durchgeführt und gestützt darauf einen unter der Erheblichkeitsschwelle von 40 % liegenden Invaliditätsgrad ermittelt. Sie hat daher zu Recht die Rentenaufhebungsverfügung vom 30. August 2012 bestätigt.
5.
Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Schüpfer