Sachverhalt: A. Der am 3. Juli 1950 geborene S._ arbeitete seit April 1975 als Hilfsmechaniker und Sandstrahler bei der Firma Q._ AG. Am 14. September 2005 musste er sich einem Stenting bei koronarer Herzkrankheit sowie am 2. November 2005 einer Oberlappenresektion der linken Lunge wegen eines Plattenepithelkarzinoms unterziehen. Am 31. März 2006 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht und durchgeführtem Vorbescheidverfahren sprach die IV-Stelle des Kantons Zürich S._ mit Verfügung vom 27. Juni 2007 eine Viertelsrente basierend auf einem Invaliditätsgrad von 46 % mit Wirkung ab 1. April 2006 zu. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 9. Januar 2008 in dem Sinne gut, dass es die angefochtene Verfügung aufhob und zu weiteren Abklärungen an die IV-Stelle zurückwies, nachdem diese in ihrer Vernehmlassung selbst die Rückweisung beantragt hatte. Daraufhin veranlasste die IV-Stelle weitere Abklärungen, insbesondere ein Gutachten der medizinischen Akademie X._, Spital Z._, vom 17. Juli 2009 und stellte S._ mit Vorbescheid vom 8. Oktober 2009 erneut die Ausrichtung einer Viertelsrente in Aussicht, diesmal mit Wirkung ab September 2006. Auf den Einwand von S._ vom 11. November 2009 unter Beilage eines Arztberichtes des Dr. med. H._ vom 30. Oktober 2009 holte die IV-Stelle eine ergänzende Stellungnahme des medizinischen Akademie X._ vom 10. Februar 2010 ein, worauf die IV-Stelle weitere Abklärungen tätigte. Am 21. Januar 2011 reichte S._ ein Privatgutachten der medizinischen Gutachtenstelle Y._ vom 13. September 2010 ein, worauf die IV-Stelle eine erneute Stellungnahme des medizinischen Akademie X._ vom 21. Februar 2011 sowie weitere Stellungnahmen des Regionalen Ärztlichen Dienstes (RAD) einholte und mit Verfügung vom 4. Juli 2011 am Anspruch auf eine Viertelsrente ab 1. September 2006 festhielt. B. Die hiegegen erhobene Beschwerde mit dem Antrag auf Ausrichtung einer ganzen Rente und dem Eventualantrag auf weitere Abklärungen wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Mai 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt S._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine ganze Rente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von mindestens 70 % zuzusprechen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen zwecks Einholung eines neuen polydisziplinären Gutachtens. Zudem sei ein zweiter Schriftenwechsel durchzuführen. Das kantonale Sozialversicherungsgericht, die Ausgleichskasse und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung.