Sachverhalt:
A. Mit Verfügung vom 21. Juli 1995 sprach die IV-Stelle des Kantons Zürich dem 1950 geborenen B._, der als selbständiger Sanitärinstallateur tätig war, aufgrund seiner seit Jahren bestehenden Rückenbeschwerden gestützt auf einen IV-Grad von 54 % ab dem 1. September 1994 eine halbe Rente der Invalidenversicherung zu.
Nachdem ein erneuter am 7. Mai 2006 gewährter Umschulungsversuch zum Technischen Kaufmann aus gesundheitlichen Gründen wieder abgebrochen werden musste, stellte die IV-Stelle die zwischenzeitlich gewährten Taggelder und die Leistungen für die Umschulung per 31. Juli 1996 ein und richtete mit Verfügung vom 8. November 1996 ab 1. August 1996 wiederum gestützt auf einen IV-Grad von 54 % eine halbe Invalidenrente aus. Die in dieser Sache erhobene Beschwerde gegen den die Verfügung bestätigenden Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 21. September 1999 wurde mit Urteil des Eidgenössischen Versicherungsgerichts (heute: Bundesgericht) vom 20. März 2001 in dem Sinne gutgeheissen, dass der kantonale Gerichtsentscheid aufgehoben und die Sache an die IV-Stelle zurückgewiesen wurde, damit diese nach Einholung eines interdisziplinären Gutachtens über den Rentenanspruch des Versicherten revisionsweise neu verfüge. In der Folge sprach die IV-Stelle B._ gestützt auf das interdisziplinäre Gutachten der Medizinischen Abklärungsstelle (MEDAS) vom 9. November 2001 weiterhin eine halbe Rente zu bei einem IV-Grad von 55 % (Verfügung vom 14. August 2002). Auf Beschwerde hin hob das Sozialversicherungsgericht des Kantons Zürich diese Verfügung mit Entscheid vom 24. Juli 2003 auf und wies die Sache zu ergänzenden Abklärungen und zur Neuverfügung an die Verwaltung zurück. Daraufhin holte die IV-Stelle zusätzliche Arztberichte sowie ein interdisziplinäres Gutachten bei der MEDAS des Spitals X._ vom 22. Dezember 2005 und eine ergänzende Auskunft der MEDAS-Gutachter vom 27. März 2006 ein. Gestützt darauf sprach sie dem Versicherten mit Verfügung vom 10. Januar 2006 - bestätigt mit Einspracheentscheid vom 31. März 2008 - weiterhin eine halbe Rente basierend auf einem IV-Grad von 58 % zu.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 26. Februar 2010 ab.
C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei die IV-Stelle zu verpflichten ihm ab 1. August 2006 eine ganze Rente auszurichten, eventuell sei eine erneute unabhängige Begutachtung vorzunehmen unter Einschluss einer neuropsychologischen Untersuchung.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde an das Bundesgericht (<ref-law>) nur zu prüfen, ob der angefochtene Gerichtsentscheid in Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (unter anderem) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>).
1.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Analoges gilt auch für die Frage, ob sich eine Arbeits(un)fähigkeit in einem bestimmten Zeitraum in einem revisionsrechtlich relevanten Sinne (<ref-law>) verändert hat (Urteil I 865/06 vom 12. Oktober 2007 E. 4). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> eine vom Bundesgericht frei überprüfbare Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 9C_270/2008 vom 12. August 2008 E. 2.2). Gleiches gilt mit Bezug auf die Beachtung der bundesrechtlichen Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (vgl. <ref-ruling> E. 3 S. 352 ff.) und bezüglich der Frage der Überwindbarkeit einer anhaltenden somatoformen Schmerzstörung (<ref-ruling> E. 3.3 S. 284, 132 V 393 E. 3.2 S. 397).
2. Streitig und zu prüfen ist vorliegend, ob seit der ursprünglichen Verfügung vom 21. Juli 1995 - letzte rechtskräftige Verfügung mit vollständiger Anspruchsabklärung (vgl. <ref-ruling>) - bis zum Erlass des angefochtenen Einspracheentscheides vom 31. März 2008 eine Veränderung des Gesundheitszustandes mit Auswirkung auf die Arbeits- und Erwerbsfähigkeit eingetreten ist, welche eine Heraufsetzung der halben Rente zu begründen vermag.
3. Das kantonale Gericht hat die zur Beurteilung des Leistungsanspruchs einschlägigen Rechtsgrundlagen zutreffend dargelegt. Es betrifft dies namentlich die Erwägungen zum Invaliditätsbegriff (<ref-law> in Verbindung mit <ref-law>), insbesondere auch bei Beeinträchtigungen der psychischen Gesundheit (<ref-ruling> E. 1.2 mit Hinweisen) wie der somatoformen Schmerzstörung (<ref-ruling>), zur Bestimmung des Invaliditätsgrades nach der Einkommensvergleichsmethode (<ref-law>, <ref-law>) sowie zur Regelung der Rentenrevision (<ref-law>) mit den dabei in zeitlicher Hinsicht zu vergleichenden Sachverhalten (<ref-ruling>). Gleiches gilt für die Ausführungen zum Beweiswert von medizinischen Berichten und Gutachten (<ref-ruling> E. 3 S. 352 ff.) sowie zu den intertemporalrechtlichen Regeln zur Anwendbarkeit materieller Bestimmungen bei Dauerleistungen (<ref-ruling>; vgl. auch <ref-ruling> E. 3.1.1 S. 220 mit Hinweisen). Darauf wird verwiesen.
4. 4.1 Nach Würdigung der umfassenden medizinischen Aktenlage gelangte die Vorinstanz gestützt auf das polydisziplinäre MEDAS-Gutachten vom 22. Dezember 2005, basierend auf einem rheumatologischen, neurologischen und psychiatrischen Teilgutachten sowie einer internistischen Abklärung zum Schluss, dass der Versicherte in einer körperlich angepassten Tätigkeit seit dem 1. September 1994 zu 50 % arbeitsfähig ist. Aufgrund des MEDAS-Gutachtens, das sie als überzeugend und schlüssig wertete, und der übrigen Akten sei davon auszugehen, dass der Hirninfarkt vom Januar 2004 und der Autounfall vom September 2004 die Arbeitsfähigkeit von 50 % in einer angepassten Tätigkeit zwar vorübergehend eingeschränkt, jedoch mittel- und langfristig keine zusätzliche Invalidisierung bewirkt haben. Somit habe der Gesundheitszustand und die Arbeitsfähigkeit des Versicherten im massgebenden Zeitraum keine sich entscheidend auf den Invaliditätsgrad auswirkende Änderung erfahren. Da auch in erwerblicher Hinsicht keine Veränderung erstellt sei, erübrige sich eine Einkommensbemessung.
4. 4.1 Nach Würdigung der umfassenden medizinischen Aktenlage gelangte die Vorinstanz gestützt auf das polydisziplinäre MEDAS-Gutachten vom 22. Dezember 2005, basierend auf einem rheumatologischen, neurologischen und psychiatrischen Teilgutachten sowie einer internistischen Abklärung zum Schluss, dass der Versicherte in einer körperlich angepassten Tätigkeit seit dem 1. September 1994 zu 50 % arbeitsfähig ist. Aufgrund des MEDAS-Gutachtens, das sie als überzeugend und schlüssig wertete, und der übrigen Akten sei davon auszugehen, dass der Hirninfarkt vom Januar 2004 und der Autounfall vom September 2004 die Arbeitsfähigkeit von 50 % in einer angepassten Tätigkeit zwar vorübergehend eingeschränkt, jedoch mittel- und langfristig keine zusätzliche Invalidisierung bewirkt haben. Somit habe der Gesundheitszustand und die Arbeitsfähigkeit des Versicherten im massgebenden Zeitraum keine sich entscheidend auf den Invaliditätsgrad auswirkende Änderung erfahren. Da auch in erwerblicher Hinsicht keine Veränderung erstellt sei, erübrige sich eine Einkommensbemessung.
4.2 4.2.1 Die vorinstanzliche Feststellung, eine wesentliche Veränderung des Gesundheitszustandes des Beschwerdeführers im massgebenden Vergleichszeitraum sei nicht erstellt, betrifft eine Tatfrage. Deren Beantwortung ist, sofern nicht offensichtlich unrichtig, für das Bundesgericht verbindlich (vgl. oben E. 1). Die in der Beschwerdeschrift enthaltenen Einwendungen und Ausführungen vermögen nicht eine offensichtlich unrichtige oder auf einer Bundesrechtsverletzung beruhende Sachverhaltsfeststellung darzutun. Insbesondere ist der Vorinstanz beizupflichten, dass das MEDAS-Gutachten die rechtsprechungsgemässen Anforderungen (vgl. <ref-ruling> E. 3 S. 352 ff.) erfüllt und ihm mithin voller Beweiswert zukommt. Im Nichtdurchführen einer neuropsychologischen Untersuchung kann entgegen dem Beschwerdeführer keine Verletzung des Untersuchungsgrundsatzes gesehen werden. Ob eine neuropsychologische Abklärung erforderlich ist, um den Gesundheitszustand einer versicherten Person beurteilen zu können, liegt im Ermessen der begutachtenden Ärzte. Sind derartige Untersuchungen unterblieben, kann daraus nicht auf eine fehlende Beweiskraft der Expertise geschlossen werden (Urteil 9C_830/2009 vom 27. Januar 2010 E. 3.3); dies umso mehr als sich vorliegend gemäss ergänzender Auskunft zum MEDAS-Gutachten vom 27. März 2006 in den einzelnen Fachrichtungen keine Hinweise für relevante neurologische Störungen ergeben hatten. Weiter wird in der Beschwerde nicht substanziiert begründet, inwiefern die Diagnose der somatoformen Schmerzstörung (ICD-10 F45.4) im MEDAS-Gutachten offensichtlich unrichtig sein soll. Allein der Vorwurf, die Gutachter hätten zu Unrecht nicht auf die Neucodifikation von ICD-10 F 45.41 abgestellt, wo neu somatoforme Schmerzstörungen aufgeführt würden, welche ihren Ausgangspunkt in einem physiologischen Prozess oder einer körperlichen Störung haben, genügt nicht. Im Übrigen ist in diesem Zusammenhang auf die sozialversicherungsrechtliche Relevanz der Diagnose nach ICD-10 oder DSM-IV bei psychogenen Schmerzzuständen hinzuweisen (<ref-ruling> E. 6.2.3 S. 401 f.).
4.2.2 Was die Einwendungen des Beschwerdeführers zum Grad der Arbeitsunfähigkeit betrifft, die sich in einer Kritik am Gutachten der MEDAS und an der Beweiswürdigung des kantonalen Gerichts erschöpfen, kann er damit im Rahmen der geltenden Überprüfungsbefugnis des Bundesgerichts nicht gehört werden. Dies gilt namentlich für den erneuten Vorhalt, wonach bereits aufgrund der belastenden Krankengeschichte (im Januar 2004 Hirninfarkt, im Februar 2004 kardialer Zwischenfall und im September 2004 Autounfall mit Frontalkollision) und der Diagnosen von einer Zunahme der Arbeitsfähigkeit ausgegangen werden müsse und es nicht nachvollziehbar sei, dass sie seit 1995 trotz dieser erheblichen Vorfälle immer auf 50 % hätte persistieren sollen. Wie die Vorinstanz zutreffend erwog, ergibt sich die Arbeitsfähigkeit nicht allein aus der Diagnose oder der Krankheitsgeschichte, sondern aus der Einschränkung der funktionellen Leistungsfähigkeit, welche sie gestützt auf das MEDAS-Gutachten vom 22. Dezember 2005 verbindlich auf 50 % festgelegt hat.
4.2.3 Weiter rügt der Beschwerdeführer die unrichtige intertemporale Anwenden der verschärften Praxis zur somatoformen Schmerzstörung. Er macht mit Verweis auf den vorinstanzlichen Entscheid geltend, entsprechend den allgemeinen intertemporalrechtlichen Regeln sei für die Zeit bis 31. Dezember 2007 auf die Bestimmungen vor der 5. IV-Revision und für die Zeit danach nach der 5. IV-Revision abzustellen. Gleichermassen müsse es sich mit der Anwendung der Rechtsprechung verhalten, insbesondere weil die vom Bundesgericht vorgenommene erhebliche Praxisänderung zur somatoformen Schmerzstörung Richterrecht und damit eine abstrakte Norm darstelle. Entsprechend sei die Praxisänderung in casu für den Zeitraum bis 31. Dezember 2007 nicht anzuwenden. Allein die Tatsache, dass der Versicherte nunmehr zweimal medizinisch ungenügend abgeklärt worden sei, habe er nicht zu vertreten; wäre eine korrekte Abklärung und Befundung erfolgt, hätte er längst vor dem Zeitraum der Praxisverschärfung eine Rentenerhöhung erfahren, weshalb <ref-ruling> auch hier zur Anwendung kommen müsse.
Dazu gilt festzustellen, dass rechtsprechungsgemäss eine Änderung oder Präzisierung einer bundesgerichtlichen Rechtsprechung nicht nur auf zukünftige Fälle anwendbar ist, sondern auch auf jene Fälle, die im Zeitpunkt der Änderung oder der Präzisierung der Praxis noch nicht rechtskräftig erledigt waren (<ref-ruling> E. 3a S. 131 mit Hinweisen). Im Übrigen hätte dem Beschwerdeführer auch unter der vormaligen Rechtsprechung nicht ohne weiters eine höhere Rente zugestanden. So hat die Rechtsprechung zur somatoformen Schmerzstörung (<ref-ruling>) die Rechtslage nicht in dem Sinne verändert, dass vorher bei diagnostizierter anhaltender somatoformer Schmerzstörung ohne weiteres eine Rente zugesprochen wurde, während dies nunmehr ausgeschlossen wäre. Die Diagnose einer anhaltenden somatoformen Schmerzstörung konnte vor wie auch nach dem Urteil <ref-ruling> sowohl zur Bejahung als auch zur Verneinung eines Rentenanspruchs führen (<ref-ruling> S. 211 ff. E. 7.1 mit Hinweisen).
Die Vorinstanz hat im angefochtenen Entscheid zutreffend erkannt, dass in Anwendung der rechtsprechungsgemässen Kriterien (<ref-ruling> E. 2.2.3 S. 353 f.) nicht von einer Unüberwindbarkeit der somatoformen Schmerzstörung auszugehen ist. Die diagnostizierte narzisstische Persönlichkeitsstörung und die Anpassungsstörung mit einer längeren depressiven Reaktion erfüllen die für eine psychische Komorbidität erforderliche Schwere, Ausprägung und Dauer nicht. Zudem hat sie überzeugend begründet, dass die bei Fehlen einer psychischen Komorbidität analog anzuwendenden "Foerster-Kriterien" beim Beschwerdeführer nicht im praxisgemäss geforderten Ausmass vorhanden sind. Inwiefern diese Kriterien nicht richtig angewandt wurden, wie geltend gemacht wird, ist nicht ersichtlich. Die Einwendungen des Beschwerdeführers, die im Übrigen bereits grösstenteils im vorinstanzlichen Entscheid entkräftet wurden, vermögen nicht zu einer andern Beurteilung zu führen.
4.2.4 Was schliesslich die geltend gemachten veränderten wirtschaftlichen Verhältnisse anbelangt, vermögen die Vorbringen des Beschwerdeführers die grundsätzlich verbindliche Feststellung im angefochtenen Entscheid, wonach auch in erwerblicher Hinsicht keine revisionsrechtlich relevante Änderung eingetreten ist, nicht als offensichtlich unrichtig oder rechtsfehlerhaft erscheinen zu lassen. So stellt eine bloss andere, abweichende Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts keine revisionsrechtlich relevante Änderung dar (vgl. Urteil 9C_149/2009 vom 17. Juli 2009 E. 3.2.1 mit Hinweisen; publ. in SVR 2009 IV Nr. 57 mit Hinweisen). Zudem bildet eine geänderte oder präzisierte Rechtsprechung - wie betreffend Berücksichtigung der IK-Zahlen beim Valideneinkommen angeführt wird - regelmässig keinen Grund, revisionsweise auf eine formell rechtskräftige Verwaltungsverfügung zurückzukommen, weil es sich dabei nicht um neue oder geänderte Tatsachen handelt (<ref-ruling> E. 3b S. 131; <ref-ruling> E. 4a/bb S. 313). Die Voraussetzungen für eine Wiedererwägung (<ref-law>) sind ebenfalls nicht gegeben; bleibt anzumerken, dass der Beschwerdeführer nach Lage der Akten die Meisterprüfung nicht bestanden hat.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>)

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. März 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Weber Peter