Sachverhalt:
A.
A.a. Der 1959 geborene A._ arbeitete seit 1983 als angestellter Architekt in verschiedenen Architekturbüros, zuletzt in einem Pensum von 80%. Zusätzlich war er seit dem 1. März 1999 in einem Pensum von ca. 12% als Lehrbeauftragter an der Fachschule B._ tätig. Am 3. Januar 2005 stürzte er beim Aufsteigen aufs Fahrrad auf die linke Seite. Die Ärzte des Spitals C._ diagnostizierten eine laterale Diskushernie L4/L5 rechts mit Nervenwurzelkompression L5, die am 26. Mai 2005 operativ behandelt wurde. Ab dem 15. August 2005 war der Versicherte zu 50% arbeitsfähig und trat am 1. November 2005 eine neue Stelle als angestellter Architekt in einem 80%-Pensum mit einer Leistungsfähigkeit von 40% an. Am 27. Juli 2006 (Eingangsdatum) meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich zog die Akten des zuständigen Unfallversicherers (Schweizerische Unfallversicherungsanstalt, Suva) bei und tätigte Abklärungen medizinischer und erwerblicher Natur. Am 5. März 2007 gründete A._ zusammen mit einem Partner die D._ GmbH, für die er seither in einem Pensum von rund 50% als selbständiger Architekt tätig ist. Im Jahre 2010 nahm er zusätzlich ein Masterstudium in der Denkmalpflege an der Fachhochschule E._ auf. Nachdem die Suva dem Versicherten am 8. Dezember 2009 eine Invalidenrente gestützt auf einen Invaliditätsgrad von 40% zugesprochen hatte, gewährte ihm auch die IV-Stelle mit Wirkung ab dem 1. Februar 2006 eine Viertelsrente gestützt auf einen Invaliditätsgrad von 44% (Verfügung vom 27. Mai 2010).
A.b. Am 3. Dezember 2012 bestätigte die IV-Stelle einen unveränderten Rentenanspruch. Im Zuge eines weiteren Revisionsverfahrens, das im Dezember 2014 eingeleitet wurde, tätigte die IV-Stelle vertiefte Abklärungen. Im Fragebogen betreffend Revision der Invalidenrente gab der Versicherte an, weiterhin in einem Pensum von 60% zu arbeiten (51,5% als Architekt; 8,5% als Dozent). Nach Rücksprache mit ihrem Regionalen Ärztlichen Dienst (RAD) stellte die IV-Stelle dem Versicherten in Aussicht, die Rente aufzuheben (Vorbescheid vom 19. Oktober 2015). Im weiteren Verlauf des Verfahrens liess sie den Versicherten am 26. April 2016 orthopädisch und psychiatrisch durch ihren RAD untersuchen. Mit Verfügung vom 25. November 2016 hob die IV-Stelle, wie vorbeschieden, wegen voller Arbeitsfähigkeit die Invalidenrente auf.
B.
Die von A._ dagegen gerichtete Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 9. Mai 2019 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des kantonalen Entscheids sei ihm weiterhin eine Viertelrente auszurichten.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; BGE 135 II 384 E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
1.2. Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig und zu prüfen ist, ob die vorinstanzlich bestätigte Rentenaufhebung per Ende Dezember 2016 vor Bundesrecht standhält.
3.
3.1. Zur Diskussion steht vorab die Frage, ob der massgebliche Vergleichszeitraum korrekt festgelegt wurde.
3.2. Zeitlicher Referenzpunkt für die Prüfung einer anspruchserheblichen Änderung bildet die letzte rechtskräftige Verfügung, welche auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs (bei Anhaltspunkten für eine Änderung in den erwerblichen Auswirkungen des Gesundheitszustands) beruht (BGE 134 V 131 E. 3 S. 132; 133 V 108 E. 5.4 S. 114). Eine Mitteilung nach Art. 74 ter lit. f und Art. 74 quater Abs. 1 IVV, mit der eine Revision von Amtes wegen abgeschlossen wurde mit der Feststellung, es sei keine leistungsbeeinflussende Änderung der Verhältnisse eingetreten, ist einer rechtskräftigen Verfügung gleichgestellt (Urteile 8C_349/2018 vom 22. Oktober 2018 E. 4.1; 8C_395/2018 vom 3. September 2018 E. 5.2).
3.3. Die Vorinstanz erwog, die Situation, wie sie zum Zeitpunkt der Rentenzusprache im Mai 2010 vorgelegen habe, sei mit derjenigen im Zeitpunkt des Erlasses der angefochtenen Verfügung im November 2016 zu vergleichen. Nicht massgebend für die Beurteilung eines veränderten Gesundheitszustands sei hingegen die medizinische Situation anlässlich der letzten Rentenbestätigung im Dezember 2012. Damals sei die medizinische Seite einzig durch den sehr kurzen Verlaufsbericht des Hausarztes, med. pract. F._, Facharzt für Allgemeine Medizin FMH, vom 6. Juni 2012 erhoben worden, aus dem gar die Angabe fehle, wann er den Patienten das letzte Mal gesehen habe. Dieser komme nur bei Bedarf vorbei. Damalige Befunde hätten gefehlt, der Arzt habe nur in groben Zügen die aus seiner Sicht bestehende Situation beschrieben. Aufgrund der weiteren Tatsache, dass die IV-Stelle die Einschätzung der RAD-Ärztin vom 4. Juli 2012 ignoriert bzw. nicht entsprechend gewürdigt habe, könne nicht von einer rechtskonformen, umfassenden Sachverhaltsabklärung im Revisionsverfahren des Jahres 2012 gesprochen werden.
3.4. Der Beschwerdeführer rügt eine Verletzung des Art. 17 ATSG. Er macht geltend, die Vorinstanz habe Bundesrecht unrichtig angewendet, indem sie feststellte, dass im Jahre 2012 keine rechtskonforme umfassende Sachverhaltsabklärung getätigt worden sei. Worauf der Beschwerdeführer abzielt, wenn er ausführt, die RAD-Ärztin, med. pract. G._, Fachärztin für Orthopädie und Traumatologie, habe die medizinische Sachlage in ihrer Stellungnahme vom 4. Juli 2012 nicht geprüft und sich auch nicht mit dem hausärztlichen Bericht des med. pract. F._ vom 6. Juni 2012 auseinandergesetzt, ist nicht nachvollziehbar. Denn damit bestätigt er lediglich die vorinstanzliche Richtigkeit der Feststellung, wonach der Sachverhalt zum Zeitpunkt der ersten Rentenrevision (2012) in medizinischer Hinsicht ungenügend abgeklärt worden war. Inwiefern die vorinstanzlichen Feststellungen und Erwägungen bezüglich des Vergleichszeitpunkts offensichtlich unrichtig bzw. bundesrechtswidrig sein sollen, vermag der Beschwerdeführer jedenfalls nicht aufzuzeigen. Auch scheint er mit der angeführten Begründung auszublenden, dass die IV-Stelle anlässlich des ersten Revisionsverfahrens für die zumutbare Leistungsfähigkeit nicht auf die von ihm bemängelte Stellungnahme der RAD-Ärztin, sondern auf die tatsächlichen erwerblichen Verhältnisse abstellte. Gestützt darauf errechnete sie einen Invaliditätsgrad von 42,29 % und bestätigte dem Versicherten mit Schreiben vom 3. Dezember 2012 einen unveränderten Rentenanspruch. Liegt somit keine Mitteilung bzw. Verfügung vor, die gemäss BGE 133 V 108 auf einer rechtskonformen Sachverhaltsprüfung und Beweiswürdigung beruht (vgl. hiervor E. 3.2), ist mit der Vorinstanz in revisionsrechtlicher Hinsicht an den Zeitpunkt der erstmaligen Rentenzusprache (27. Mai 2010) anzuknüpfen.
4.
4.1. Ferner ist umstritten, ob ein Revisionsgrund vorliegt, der es erlaubt, die zugesprochene Viertelsrente den neuen Gegebenheiten anzupassen.
4.2. Anlass zu einer Rentenrevision nach Art. 17 Abs. 1 ATSG (bzw. zu einer Rentengewährung nach Neuanmeldung oder erneuten Prüfung von Amtes wegen) gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente (bzw. dem letzten negativen Leistungsentscheid), die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen. Insbesondere ist die Rente bei einer wesentlichen Änderung des Gesundheitszustandes revidierbar. Weiter sind, auch bei an sich gleich gebliebenem Gesundheitszustand, veränderte Auswirkungen auf den Erwerbs- oder Aufgabenbereich von Bedeutung (BGE 134 V 131 E. 3 S. 132); dazu gehört die Verbesserung der Arbeitsfähigkeit aufgrund einer Angewöhnung oder Anpassung an die Behinderung (Urteile 9C_349/2013 vom 24. Oktober 2013 E. 3.1; 9C_292/2012 vom 7. August 2012 E. 2.3). Hingegen ist die lediglich unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts im revisionsrechtlichen Kontext unbeachtlich (SVR 2011 IV Nr. 1 S. 1, 8C_972/2009 E. 3.2; Urteil 8C_133/2013 vom 29. Mai 2013 E. 4.1).
4.3. In medizinischer Hinsicht hat das kantonale Gericht der Beurteilung der RAD-Ärztin, med. pract. G._, vom 26. April 2016 volle Beweiskraft beigemessen. Gestützt darauf hat es für das Bundesgericht verbindlich festgestellt (vgl. hiervor E. 1.1), dass angesichts der geringen objektivierbaren Befunde (Fusshebeparese rechts, Bewegungs- und Belastungseinschränkung der Lendenwirbelsäule) dem Beschwerdeführer spätestens ab April 2014 eine volle Arbeitsfähigkeit in seiner angestammten Tätigkeit als Architekt zumutbar und somit in somatischer Hinsicht eine Verbesserung des Gesundheitszustands eingetreten sei.
4.4. Was der Beschwerdeführer hiergegen vorbringt, verfängt nicht. Seine Einwendungen vermögen keine auch nur geringen Zweifel an der Zuverlässigkeit und Schlüssigkeit der Beurteilung der RAD-Ärztin zu begründen (vgl. dazu BGE 139 V 225 E. 5.2 S. 229; 135 V 465 E. 4.4 S. 469 f. und E. 4.7 S. 471). So stellte das kantonale Gericht in nicht zu beanstandender Weise fest, dass sich gestützt auf die Untersuchung des Prof. Dr. med. H._ vom 9. April 2014 wie auch den Bericht der RAD-Orthopädin vom 26. April 2016 aus somatischer Sicht eine gesundheitliche Verbesserung ab 2014 eingestellt habe. Soweit sich ferner der Beschwerdeführer auf den kreisärztlichen Bericht der Suva vom 9. April 2014 beruft, sind seine Ausführungen nicht stichhaltig. Insbesondere ist der Umstand irrelevant, dass der Beschwerdeführer weiterhin eine Rente der Unfallversicherung bezieht. Gemäss konstanter Rechtsprechung des Bundesgerichts haben die IV-Stellen und Unfallversicherer die Invaliditätsbemessung in jedem einzelnen Fall selbständig vorzunehmen. Keinesfalls dürfen sie sich ohne weitere Prüfung mit der blossen Übernahme des Invaliditätsgrades des Unfallversicherers oder der IV-Stelle begnügen (BGE 133 V 549 E. 6.1 S. 553; 126 V 288 E. 2d S. 293 je mit Hinweisen). Dieser Grundsatz hat gleichermassen im (amtlichen) Revisionsverfahren zu gelten. Liegt ein Revisionsgrund vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig zu prüfen, wobei keine Bindung an frühere Beurteilungen, auch anderer Sozialversicherer, besteht (vgl. dazu BGE 141 V 9 E. 2.3 S. 11 mit weiteren Hinweisen). Diesen Anforderungen kam die IV-Stelle unbestrittenermassen nach, indem sie den Rentenanspruch des Beschwerdeführers, unabhängig von der vom Unfallversicherer ausgerichteten Invalidenrente, allseitig überprüfte und medizinisch abklären liess. Wie die Vorinstanz im Übrigen korrekt erwog, vermag der Beschwerdeführer auch aus den Berichten seines behandelnden Arztes, Dr. med. I._, Facharzt für Orthopädie, nichts zu seinen Gunsten abzuleiten. Dieser bestätigte am 24. Februar 2015 in Einklang mit der Einschätzung der RAD-Ärztin, dass dem Beschwerdeführer die bisherige wechselbelastende Tätigkeit als Architekt in vollem Pensum zumutbar sei. Dass diese Beurteilung irrtümlich ergangen sein soll, lässt sich entgegen der Ansicht des Beschwerdeführers aus dem späteren Bericht des behandelnden Arztes vom 11. November 2015 nicht herleiten.
4.5. Nach dem Gesagten besteht kein Anlass, von der Verbindlichkeit der vorinstanzlichen Beweiswürdigung und Sachverhaltsfeststellung abzurücken (E. 1). Bei diesem Ergebnis zielen die weiteren Vorbringen des Beschwerdeführers ins Leere. Sie stellen über weite Strecken einzig eine von der Vorinstanz abweichende Beweiswürdigung dar, was zur Begründung offensichtlicher Unrichtigkeit nicht genügt. Das kantonale Gericht durfte daher auf die beweiskräftige Beurteilung der RAD-Ärztin vom 26. April 2016 abstellen und spätestens ab April 2014 von einer vollen Arbeitsfähigkeit und somit von einer revisionsrelevanten Verbesserung des Gesundheitszustands des Beschwerdeführers ausgehen.
4.6. Bei diesem Ergebnis braucht nicht geprüft zu werden, ob der vorinstanzlich ebenfalls bejahte Revisionsgrund einer Angewöhnung oder Anpassung an die Behinderung vorlag (vgl. hiervor E. 4.2).
4.7. Schliesslich durfte das kantonale Gericht bei der dargelegten medizinischen Aktenlage auf zusätzliche Abklärungen in antizipierter Beweiswürdigung verzichten (BGE 144 V 361 E. 6.5 S. 368; 136 I 229 E. 5.3 S. 236 f. mit Hinweisen; 124 V 90 E. 4b S. 94). Zusammenfassend hat es mit dem vorinstanzlichen Entscheid sein Bewenden.
5.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Dezember 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Elmiger-Necipoglu